成都海擎科技有限公司
電話：028-65065822
郵箱：cdhaiqing@163.com
聯(lián)系人：袁女士
地址：成都市高新區(qū)天府三街69號(hào)
高性能異構(gòu)分布式計(jì)算平臺(tái)MDPP
1. 背景
為了順應(yīng)以“大數(shù)據(jù)、人工智能”為代表的第四次工業(yè)革命潮流，智能化的裝備是必然的趨勢(shì)，裝備必須具有高效能的特點(diǎn)。所以具備高效能的裝備系統(tǒng)必然是異構(gòu)硬件平臺(tái)，目前比較成熟的就是CPU+GPU，CPU+DSP+GPU等，為了最大充分利用異構(gòu)硬件平臺(tái)的資源，不僅需要對(duì)這些異構(gòu)集群資源進(jìn)行整體管理（統(tǒng)一分配和調(diào)度），還需要對(duì)業(yè)務(wù)系統(tǒng)的計(jì)算任務(wù)提供統(tǒng)一任務(wù)調(diào)度和分配。
為了落實(shí)《十三五國(guó)家科技創(chuàng)新規(guī)劃》對(duì)異構(gòu)計(jì)算和智能計(jì)算的推廣應(yīng)用，加快裝備智能化；為了支持國(guó)產(chǎn)處理芯片和操作系統(tǒng)，實(shí)現(xiàn)自主可控。海擎科技特地開(kāi)發(fā)了一款“海量數(shù)據(jù)高性能異構(gòu)計(jì)算平臺(tái)（MDPP）”對(duì)異構(gòu)硬件和各種業(yè)務(wù)系統(tǒng)的支持，具有一定的通用性和可裝備性特點(diǎn)。
2. 設(shè)備簡(jiǎn)介
MDPP主要目的是把海量數(shù)據(jù)處理的任務(wù)通過(guò)MDPP的并行引擎切分成小任務(wù)，再把這些小任務(wù)自動(dòng)調(diào)度到各種處理器組成的異構(gòu)硬件中，實(shí)現(xiàn)多計(jì)算機(jī)、多處理器、多核集群并行協(xié)同處理；MDPP還提供二次開(kāi)發(fā)接口和通用算法庫(kù)，特別是自定義算法開(kāi)發(fā)組件，降低海量數(shù)據(jù)處理系統(tǒng)的開(kāi)發(fā)難度，為應(yīng)用開(kāi)發(fā)人員搭建高性能與易用性之間的橋梁。
MDPP是將以千兆/萬(wàn)兆網(wǎng)絡(luò)、PCIE高速總線互聯(lián)的CPU、GPU計(jì)算設(shè)備形成統(tǒng)一的計(jì)算資源池，實(shí)現(xiàn)多機(jī)（計(jì)算機(jī)）、多卡（CPU/GPU/DSP/……卡）、多核（CPU/GPU/DSP/PowerPC/FPGA/MIC/ARM的多個(gè)計(jì)算核）并行處理的統(tǒng)一資源調(diào)度、任務(wù)調(diào)度、任務(wù)分配、數(shù)據(jù)管理和負(fù)載均衡，實(shí)現(xiàn)海量數(shù)據(jù)的快速分析處理。
3. 引進(jìn)的必要性
隨著芯片技術(shù)多樣化的發(fā)展，高性能的處理器種類(lèi)越來(lái)越多，包括X86 CPU、GPU、DSP、PowerPC、FPGA、MIC、ARM等。這些處理器各有優(yōu)缺點(diǎn)，適合不同的應(yīng)用場(chǎng)景或業(yè)務(wù)算法。CPU邏輯單元多、計(jì)算單元少，適合處理IO、邏輯復(fù)雜的算法和主控； GPU核數(shù)很多、單核性能弱，適合處理并行粒度小、并行規(guī)模大、規(guī)整的數(shù)值運(yùn)算；DSP專門(mén)對(duì)數(shù)字信號(hào)處理進(jìn)行了優(yōu)化，適合處理信號(hào)處理等數(shù)值計(jì)算；FPGA功耗低、穩(wěn)定性和可靠性高，適合低功耗情況下的數(shù)值運(yùn)算。GPU由于發(fā)展迅速、生態(tài)完善、性價(jià)比高，在數(shù)據(jù)處理和高性能計(jì)算中主要采用CPU+GPU+DSP的異構(gòu)并行處理作為計(jì)算資源。
4. 設(shè)備的主要功能
MDPP邏輯框圖如圖1 所示，共包括硬件層、并行處理框架層、并行算法層、管理客戶端和應(yīng)用程序五大部分。
圖1 臺(tái)MDPP邏輯層次結(jié)構(gòu)圖
4.1. 概要
a) 硬件層
硬件層由萬(wàn)兆網(wǎng)、千兆網(wǎng)連接的多臺(tái)GPU/DSP/CPU服務(wù)器集群組成。每臺(tái)服務(wù)器中的PCIE槽上，也可以混合插入GPU/DSP/CPU卡。
b) 資源管理層
資源管理層最核心的功能就是將整個(gè)異構(gòu)硬件（CPU/DSP/GPU）作為整體的計(jì)算資源池進(jìn)行統(tǒng)一的管理，實(shí)現(xiàn)監(jiān)控、分配、調(diào)度。
c) 并行處理框架層
并行處理框架層對(duì)業(yè)務(wù)系統(tǒng)中的任務(wù)進(jìn)行靈活的分發(fā)和調(diào)度，實(shí)現(xiàn)多個(gè)服務(wù)器、服務(wù)器內(nèi)多個(gè)CPU、GPU、DSP處理器、處理器內(nèi)多核之間三個(gè)層次的并行處理資源調(diào)度、任務(wù)調(diào)度、負(fù)載均衡、容錯(cuò)處理等事務(wù)，自動(dòng)實(shí)現(xiàn)任務(wù)之間的數(shù)據(jù)流動(dòng)，形成任務(wù)流，處理復(fù)雜的業(yè)務(wù)邏輯。
d) 并行算法層
并行算法層提供常用算法、算法管理、自定義算法框架。針對(duì)異構(gòu)硬件，實(shí)現(xiàn)具體硬件的優(yōu)化算法代碼，提供統(tǒng)一的API接口供上層應(yīng)用程序調(diào)用?？梢蕴峁┑牟⑿兴惴ㄓ?span>:
1）數(shù)字信號(hào)處理算法支持FFT、濾波等數(shù)字信號(hào)處理并行算法。
2）矩陣運(yùn)算支持矩陣的加、減、乘、轉(zhuǎn)置、求逆、求模等運(yùn)算。
3）數(shù)據(jù)挖掘算法提供分類(lèi)（SVM、LR、NBC）、聚類(lèi)（K-means、Canopy、FCM）、關(guān)聯(lián)（FP-G）、推薦（UserCF、ItemCF）、降維（PCA）共10個(gè)常用數(shù)據(jù)挖掘算法的分布式并行算法。
e) 管理客戶端
管理客戶端通過(guò)API接口和可視化界面提供平臺(tái)資源管理、資源狀態(tài)（CPU/DSP/GPU）監(jiān)控、任務(wù)管理、任務(wù)狀態(tài)監(jiān)控等功能。
f) 應(yīng)用程序
應(yīng)用程序在并行處理框架動(dòng)態(tài)庫(kù)基礎(chǔ)上開(kāi)發(fā)，實(shí)現(xiàn)具體的業(yè)務(wù)算法和業(yè)務(wù)邏輯。應(yīng)用程序分為業(yè)務(wù)主流程和并行算法兩部分，業(yè)務(wù)主流程在CPU上執(zhí)行，并行處理框架自動(dòng)將并行算法打包上傳到各計(jì)算節(jié)點(diǎn)，由并行處理框架在各計(jì)算資源（CPU、GPU、DSP）上調(diào)用。
4.2. 特點(diǎn)
a）可裝備：移動(dòng)性、小型化、高效能滿足體積小、功耗低，高性能的移動(dòng)平臺(tái)（硬件是混合異構(gòu)）。MDPP采用軟件異構(gòu)架構(gòu)，比較適合智能化裝備對(duì)高性能異構(gòu)處理的要求，還采用失效探測(cè)來(lái)保障計(jì)算的可靠性。
b）彈性：按需分配、即插即用、動(dòng)態(tài)擴(kuò)展支持計(jì)算力資源統(tǒng)一分配和調(diào)度，保證優(yōu)先級(jí)高的業(yè)務(wù)。也可根據(jù)業(yè)務(wù)的實(shí)際需要來(lái)動(dòng)態(tài)擴(kuò)展。
c）協(xié)同：互聯(lián)互通，提供計(jì)算力、任務(wù)的集群協(xié)同可融入到現(xiàn)有大數(shù)據(jù)平臺(tái)中，可以與智能終端交互，達(dá)到更智能化和集群化。
d）靈活：任務(wù)、資源調(diào)度靈活任務(wù)調(diào)度也是統(tǒng)一進(jìn)行，但是也可以根據(jù)實(shí)際情況傳入一些參數(shù)進(jìn)行靈活的任務(wù)調(diào)度和計(jì)算資源調(diào)度策略，支持任務(wù)流的自由流向。
e）便捷：易編程、易移植、簡(jiǎn)化部署，縮短研發(fā)周期。計(jì)算平臺(tái)支持自定義算法框架和支持MapReduce編程模型，大大縮短研發(fā)周期。
f）通用性：通用架構(gòu)設(shè)計(jì)，可重構(gòu)和擴(kuò)展性。屏蔽了硬件底層的差異性，提供通用性計(jì)算力支持。
5. 咨詢
-
? 聯(lián)系人：劉先生
? 聯(lián)系電話：13708190139
? 聯(lián)系郵箱： liuli@cdhaiqing.com