基于Hadoop作業(yè)內(nèi)計(jì)算任務(wù)調(diào)度優(yōu)化的研究.pdf

1、隨著信息科學(xué)技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)與社會(huì)各個(gè)方面的結(jié)合越來(lái)越緊密。互聯(lián)網(wǎng)所產(chǎn)生的信息數(shù)據(jù)也以指數(shù)級(jí)的速度飛速增長(zhǎng)。面對(duì)海量的信息數(shù)據(jù)，傳統(tǒng)的計(jì)算模式已經(jīng)顯得力不從心。云計(jì)算作為傳統(tǒng)計(jì)算模式與網(wǎng)絡(luò)技術(shù)融合的產(chǎn)物，能夠?qū)⒂?jì)算分布在大量的機(jī)器上，從而高效的對(duì)海量數(shù)據(jù)進(jìn)行處理。Hadoop作為一個(gè)能夠高效的處理大規(guī)模數(shù)據(jù)集的分布式計(jì)算框架，現(xiàn)已被越來(lái)越多的機(jī)構(gòu)作為基礎(chǔ)計(jì)算框架來(lái)構(gòu)建云計(jì)算平臺(tái)。如何提升其執(zhí)行效率是業(yè)界的一個(gè)熱門(mén)研究方向，調(diào)度問(wèn)題

2、作為影響Hadoop執(zhí)行效率的一個(gè)關(guān)鍵因素，發(fā)現(xiàn)其不足之處并加以改進(jìn)是非常具有意義的。
　　通過(guò)對(duì)現(xiàn)有的改進(jìn)后的Hadoop調(diào)度算法進(jìn)行調(diào)研可以發(fā)現(xiàn)，大多數(shù)優(yōu)化算法集中在如何對(duì)多個(gè)作業(yè)進(jìn)行合理調(diào)度也即作業(yè)間的調(diào)度研究，而對(duì)作業(yè)內(nèi)部的計(jì)算任務(wù)調(diào)度研究甚少。此外，對(duì)異構(gòu)集群節(jié)點(diǎn)間的計(jì)算能力差異性也沒(méi)有充分考慮，或只是根據(jù)機(jī)器配置來(lái)設(shè)置一個(gè)理論值，與現(xiàn)實(shí)存在脫節(jié)。本文主要針對(duì)Hadoop作業(yè)內(nèi)的計(jì)算任務(wù)調(diào)度問(wèn)題進(jìn)行研究，主要工作包括：<

3、br>　　一、對(duì)課題的背景知識(shí)以及調(diào)度過(guò)程中涉及到的Hadoop組件進(jìn)行了介紹。分析了Hadoop默認(rèn)使用的任務(wù)調(diào)度算法所存在的不足以及任務(wù)調(diào)度過(guò)程中有關(guān)的類(lèi)及方法的作用。在借鑒了現(xiàn)階段一些改進(jìn)后調(diào)度算法的主要思想、設(shè)計(jì)思路、優(yōu)點(diǎn)以及不足的基礎(chǔ)上，提出了基于 Hdoop作業(yè)內(nèi)的數(shù)據(jù)本地化任務(wù)調(diào)度算法。該算法能夠根據(jù)節(jié)點(diǎn)的真實(shí)計(jì)算性能以及當(dāng)前節(jié)點(diǎn)所存儲(chǔ)的還未被處理的數(shù)據(jù)塊數(shù)目來(lái)計(jì)算出該節(jié)點(diǎn)的數(shù)據(jù)本地化飽和程度并依此進(jìn)行計(jì)算任務(wù)調(diào)度。在傳統(tǒng)

4、的任務(wù)調(diào)度過(guò)程中，節(jié)點(diǎn)所存儲(chǔ)的數(shù)據(jù)塊沒(méi)有做區(qū)分，每次調(diào)度時(shí)都是隨機(jī)選取數(shù)據(jù)塊。本文引入了數(shù)據(jù)塊標(biāo)記值這個(gè)概念，在調(diào)度過(guò)程中對(duì)每個(gè)數(shù)據(jù)塊進(jìn)行標(biāo)記，并按標(biāo)記值大小進(jìn)行調(diào)度。本文提出的算法可以提高作業(yè)內(nèi)計(jì)算任務(wù)調(diào)度效率，能夠結(jié)合其它多作業(yè)調(diào)度算法進(jìn)一步提高Hadoop平臺(tái)執(zhí)行效率，并且在異構(gòu)集群下也能很好工作。
　　二、搭建了一個(gè)異構(gòu)的Hadoop集群作為實(shí)驗(yàn)環(huán)境，對(duì)上述優(yōu)化后的任務(wù)調(diào)度算法以及默認(rèn)的任務(wù)調(diào)度算法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并對(duì)實(shí)驗(yàn)