基于FPGA加速的YARN異構(gòu)集群管理方法研究.pdf

1、大數(shù)據(jù)時代下，通用處理器的處理能力無法滿足工業(yè)界、學(xué)術(shù)界對數(shù)據(jù)挖掘、機器學(xué)習(xí)類算法計算性能要求，加速設(shè)備與Hadoop集群融合已成為一種重要的趨勢。當(dāng)前研究主要集中在利用加速設(shè)備實現(xiàn)MapReduce編程模型，或者利用Hadoop集群集成加速設(shè)備，探討利用加速設(shè)備的并行計算能力及其他優(yōu)勢優(yōu)化MapReduce計算框架。在Hadoop集群上集成加速設(shè)備，需要從實現(xiàn)的角度，研究加速設(shè)備的具體集成方式，構(gòu)造更通用、可靠性更高的加速系統(tǒng)。

2、>　　Hadoop集群中計算任務(wù)分為本地任務(wù)與非本地任務(wù)，任務(wù)執(zhí)行的基本設(shè)計思想是“計算跟著數(shù)據(jù)走”，但考慮到作業(yè)執(zhí)行效率，非本地任務(wù)的計算數(shù)據(jù)會通過網(wǎng)絡(luò)傳輸?shù)竭_任務(wù)執(zhí)行節(jié)點，利用任務(wù)執(zhí)行節(jié)點的計算資源進行運算。當(dāng)加速設(shè)備在Hadoop集群中每臺計算節(jié)點不統(tǒng)一部署時，即YARN異構(gòu)集群，任務(wù)執(zhí)行節(jié)點有可能沒有加速計算資源，但現(xiàn)有的研究工作中非本地任務(wù)有可能無法完成計算，導(dǎo)致加速程序運行失敗。在YARN平臺集成FPGA加速器基礎(chǔ)上針對YA

3、RN異構(gòu)集群提出解決方案，方案首先將集群計算節(jié)點分為加速類型計算節(jié)點和非加速類型計算節(jié)點，針對加速程序，數(shù)據(jù)塊副本定向存儲到加速類型計算節(jié)點上，并且集群資源調(diào)度器只分配加速類型計算節(jié)點的資源容器，有效地解決了加速程序的非本地任務(wù)成功執(zhí)行問題。普通類型應(yīng)用程序則按照原有的執(zhí)行方式運行。
　　所提解決方案主要對HDFS客戶端寫數(shù)據(jù)過程以及資源調(diào)度器資源調(diào)度算法進行改造，通過實驗驗證其可行性和向前兼容性，并對擴展后的資源調(diào)度器就小規(guī)模集