基于成本模型的Hadoop與Storm混合系統(tǒng)的研究.pdf

1、全世界已經進入到一個數據快速增長的時代。當前大數據方向的研究可以分為四類:離線計算、實時計算、流計算以及統(tǒng)一資源管理平臺的研究。每種計算框架都僅僅適用于特定的領域,一旦需求范圍超過自己擅長的領域,這些框架就難以滿足要求了。例如,MapReduce善于進行批處理操作,任務吞吐量比較高,但是實時性不好,往往計算任務需要耗費幾個小時甚至是幾天的時間。同樣地,流計算框架雖然能夠快速響應用戶事件,但是任務吞吐量又不夠高。針對這些問題,本文提出的解

2、決方案是將多框架融合到一個系統(tǒng)中,利用統(tǒng)一資源管理平臺實現多框架的集成,通過統(tǒng)一查詢接口對外提供服務。
　　本文研究的內容就是在同一個系統(tǒng)中集成Hadoop和Storm兩種不同的計算框架來提升整體的處理效率,具體方法就是實時數據和小規(guī)模數據通過Storm進行處理以求快速響應,而大規(guī)模歷史數據使用Hadoop進行計算,增大系統(tǒng)吞吐量。本文對現有的混合型系統(tǒng)進行了深入的調研,大多數系統(tǒng)是在語言層面進行融合,將用戶的查詢語句轉換為每個框

3、架的實際執(zhí)行任務。這些系統(tǒng)大多立足于屏蔽底層的實現細節(jié),為用戶提供統(tǒng)一的查詢接口,方便熟悉SQL語言的數據分析人員使用。與這些系統(tǒng)相比,本文設計的架構具有兩個新特性:1.設計框架自動選擇算法,可以根據任務的特點選擇合適的框架來執(zhí)行該任務;2.可以控制Storm框架的數據來源,特別是為Storm設置了緩存表,能夠一定程度上提升執(zhí)行效率。
　　本文原型系統(tǒng)的實現涵蓋了語言處理層、資源調度層以及任務執(zhí)行層三個方面,其中框架選擇算法是在語

4、言處理層中實現的。從對比測試的結果來看,數據量較小時查詢操作執(zhí)行時間與SummingBird on Storm持平,比SummingBird on Hadoop快20％-40％。數據量較大時混合系統(tǒng)數據吞吐量與SummingBird on Hadoop相當,比SummingBird on Storm多40％。本文設計的新型多框架混合系統(tǒng)架構有如下一些優(yōu)勢:?整合多種計算框架,應用場景廣泛;提供統(tǒng)一的查詢語言,為用戶屏蔽底層實現細節(jié),便于