云計算環(huán)境下面向大數(shù)據(jù)的在線聚集優(yōu)化機制研究.pdf

1、隨著社交網(wǎng)絡、電子商務等新型互聯(lián)網(wǎng)應用的蓬勃發(fā)展，產(chǎn)生了大量業(yè)務數(shù)據(jù)。這些數(shù)據(jù)具有規(guī)模龐大、增長迅速、結(jié)構(gòu)多樣等顯著特點，是典型的大數(shù)據(jù)。針對大數(shù)據(jù)的查詢處理是實現(xiàn)企業(yè)決策支持、業(yè)務報表分析等核心商業(yè)應用的基礎，受到業(yè)界的廣泛關(guān)注。如何快速、高效地實現(xiàn)大數(shù)據(jù)查詢處理已成為當前研究熱點及難點。
　　云計算作為一種彈性、可擴展的分布式計算模式，可提供強大的計算、存儲能力，逐漸成為大數(shù)據(jù)查詢處理難題的重要解決方案。近年來，研究人員將在線

2、聚集機制引入云計算環(huán)境，通過對隨機樣本的近似估計獲取近似查詢結(jié)果，在滿足用戶查詢精度的前提下通過精度與性能的折中來實現(xiàn)查詢性能的大幅提升。然而，現(xiàn)有云計算環(huán)境下的在線聚集機制并不能很好地支持傾斜數(shù)據(jù)集和高并發(fā)查詢，導致樣本采集效率和樣本質(zhì)量偏低，且具有較高的冗余計算開銷，直接影響查詢性能;同時基于中心極限定理的估計方法存在估計失效問題，降低了查詢精度進而影響查詢性能。
　　本文針對云計算環(huán)境下在線聚集研究工作的不足，依次從底層數(shù)據(jù)

3、管理、任務執(zhí)行模式、在線聚集近似估計三個角度入手，分別圍繞在線聚集數(shù)據(jù)預處理、多查詢共享優(yōu)化、近似估計失效等問題展開研究，旨在提高在線聚集整體執(zhí)行性能，滿足大數(shù)據(jù)查詢處理對性能和精度的雙重需求。綜上所述，本文研究思路可概括如下:首先，在底層數(shù)據(jù)管理方面，面向傾斜數(shù)據(jù)提出一種基于內(nèi)容的數(shù)據(jù)劃分算法及數(shù)據(jù)塊索引、放置策略，通過提高在線聚集的采樣效率和樣本質(zhì)量、保證計算與存儲負載均衡，實現(xiàn)在線聚集執(zhí)行性能的大幅提升;其次，在任務執(zhí)行模式方面，

4、針對高并發(fā)查詢請求提出兩階段共享策略，通過合并重復的采樣及計算過程減少冗余開銷，提高在線聚集的執(zhí)行性能;再次，在近似估計方法方面，針對在線聚集近似估計失效問題，結(jié)合bootstrap采樣方法提出一種混合近似查詢框架，通過預測在線聚集失效概率實現(xiàn)查詢模式的動態(tài)切換，進一步提高在線聚集執(zhí)行性能;最后，基于東南大學云計算平臺，結(jié)合上述理論研究成果設計并實現(xiàn)云計算在線聚集原型系統(tǒng)，基于真實電子商務數(shù)據(jù)對系統(tǒng)進行功能和性能測試以驗證其可用性和有效