基于Hadoop平臺的動態(tài)自適應(yīng)作業(yè)調(diào)度算法研究.pdf

1、一種基于互聯(lián)網(wǎng)技術(shù)產(chǎn)生、發(fā)展的新式計算模式——云計算正在不斷改變?nèi)藗兊膫鹘y(tǒng)網(wǎng)絡(luò)計算的理解。云計算這一技術(shù)很好地解決了對海量數(shù)據(jù)處理的需求，其可以認(rèn)為是未來新一代信息技術(shù)變革的核心，是IT產(chǎn)業(yè)的第三次大變革。
　　本文選取具有諸多優(yōu)勢的開源Hadoop云計算平臺作為研究對象。目前對于Hadoop平臺的一個研究熱點就是作業(yè)調(diào)度和資源分配問題，這兩個問題關(guān)系到Hadoop平臺的整體性能和資源利用率的提升。
　　本文在研究Hadoo

2、p平臺原有的作業(yè)調(diào)度算法和深入理解蟻群算法原理的基礎(chǔ)上，為提高平臺整體的執(zhí)行效率和資源利用率，對算法在資源調(diào)度、參數(shù)配置和任務(wù)分配方面進(jìn)行改進(jìn)。提出一種基于Hadoop平臺的動態(tài)自適應(yīng)作業(yè)調(diào)度算法。通過算法執(zhí)行過程中實時監(jiān)控各個資源節(jié)點計算能力的變化，并通過反饋機制將這些信息傳遞給控制節(jié)點，后者通過改進(jìn)相關(guān)參數(shù)對算法做出動態(tài)調(diào)整，實現(xiàn)每個任務(wù)分配最優(yōu)執(zhí)行資源節(jié)點的目的。
　　最后，搭建Hadoop實驗平臺，對本文提出的基于Hado