智能電網云平臺調度策略的研究.pdf

1、隨著我國智能電網事業(yè)的發(fā)展,全國電力系統(tǒng)互聯(lián)已成為一個趨勢,大量的先進的數(shù)據(jù)采集與監(jiān)控設備、相量測量單元(PMU)、智能電表等被應用,現(xiàn)代電力系統(tǒng)正在演變成一個集聚大數(shù)據(jù)和信息的計算系統(tǒng)。針對智能電網對海量的數(shù)據(jù)存儲和大規(guī)模并行計算的迫切需求,鑒于電力系統(tǒng)廣域網的完整性,學者提出了整合網內現(xiàn)有計算和存儲資源,建立電力私有云的概念。Hadoop是主要由 HDFS和MapReduce組成的開源云計算項目,可以部署在普通個人計算機上,從而組成

2、廉價的云平臺。作業(yè)的調度算法對云計算有著至關重要的作用,它是解決作業(yè)在什么地點、什么時間執(zhí)行的問題。智能電網云平臺依托于各級電網的計算資源,集群中普遍資源存在著節(jié)點異構問題,異構節(jié)點的執(zhí)行能力的不同和用戶提交作業(yè)任務量不同,會導致比較突出的任務同步問題。
　　根據(jù)該情況,本文在 hadoop平臺下,給出了一種基于作業(yè)執(zhí)行時間預測的資源優(yōu)化推測執(zhí)行算法,該算法通過預先執(zhí)行作業(yè)一部分任務,通過這些先行任務預測作業(yè)平均和整體的運行時間,

3、同時將群集中的節(jié)點以執(zhí)行相同作業(yè)所屬任務的執(zhí)行時間為參數(shù),將節(jié)點分為快節(jié)點和慢節(jié)點,而推測執(zhí)行的任務只能發(fā)生在快節(jié)點上,該算法結合任務執(zhí)行節(jié)點的性能參數(shù),判斷該任務是否進行推測執(zhí)行,當推測執(zhí)行發(fā)生時會盡可能以局部執(zhí)行的方式執(zhí)行其后備任務,推測任務發(fā)生之前,該算法會檢查群集中其它節(jié)點執(zhí)行該任務的成本是否低于該節(jié)點(主要以inputsplit的所在節(jié)點與執(zhí)行節(jié)點的距離做參考),如果任務在其它節(jié)點執(zhí)行成本更低,則算法會放棄本次推測執(zhí)行。本文通

4、過實驗比較了該算法和、計算能力調度算法、公平調度算法、基于高優(yōu)先級滑動窗口調度算法的優(yōu)缺點,通過分別代表內存、CPU、網絡等不同類型資源的云計算應用例程WordCount、CPUActivity、URLGet,進行三組,每組六次實驗的測試,結果表明該算法在任務的時間消耗上,推測執(zhí)行的發(fā)生率,網絡資源的占用率上均有明顯的減小,整體上縮短了資源的消耗,并提高了任務的完成速度。因此在一定程度上適合節(jié)點眾多,拓撲結構復雜,節(jié)點差異大的電力系統(tǒng)私