基于Map-Reduce并行計算模式的大量數(shù)據(jù)自動聚類算法研究.pdf

1、作為一門無監(jiān)督學(xué)習(xí)技術(shù),聚類廣泛應(yīng)用在很多領(lǐng)域中,包括數(shù)據(jù)壓縮,文件檢索,人工智能,臨床圖像和微陣列分析等多方面。隨著信息技術(shù)的飛速發(fā)展,在這些領(lǐng)域中積累的數(shù)據(jù)量將不可避免地跨過Peta級門檻,那么如何解決海量數(shù)據(jù)的存儲并在其上進行相應(yīng)數(shù)據(jù)挖掘以獲得我們想獲得的信息成為了當(dāng)前面對的兩個核心問題。海量數(shù)據(jù)存儲問題通過分布式技術(shù)得以解決。因此海量數(shù)據(jù)挖掘成為了今年的熱點問題。針對大量數(shù)據(jù)的聚類問題,我們提出了自己的算法并驗證了算法的效果。<

2、br>　　本文應(yīng)用Map-Reduce分布式并行計算模式來實現(xiàn)對大量數(shù)據(jù)的自動聚類。Map-Reduce[37]模式的優(yōu)點在于其本身可以由 Hadoop自動管理大型計算機集群并將分布式計算任務(wù)以傳遞計算而非一般傳遞數(shù)據(jù)的方式分配給多臺機器,我們無需考慮計算調(diào)度問題,機器故障恢復(fù)和高效計算機之間通信等問題。文中算法優(yōu)點在于通過少量對實驗結(jié)果不敏感的參數(shù)來準(zhǔn)確地確定海量數(shù)據(jù)中聚類后簇的個數(shù)和中心,同時為適應(yīng)海量數(shù)據(jù)挖掘的需求,算法的復(fù)雜度限

3、定在O(tn)(t為迭代次數(shù)),根據(jù)對正確率的不同需求可以通過增加固定參數(shù)大小的港式來獲得更精確聚類結(jié)果。
　　本文的主要研究內(nèi)容和研究成果歸納為以下幾個方面:
　　首先,對文中所涉及的聚類算法方面的背景理論知識進行介紹,主要集中在確定簇的個數(shù)、初始中心選擇、簇的內(nèi)部聚類和分布式數(shù)據(jù)挖掘相關(guān)理論這四個方面。
　　其次,提出一種高效的自動聚類算法,通過確定初始中心集合、中心移動與融合三個步驟來實現(xiàn)自動聚類過程。根據(jù)算法在

4、不同復(fù)雜數(shù)據(jù)分布情況下與K-MEANS、DBSACN、X-MEANS等算法的對比結(jié)果,我們證實了tnn-means算法在單機情況下的正確性和魯棒性。
　　然后,基于Map-Reduce分布式并行計算模式,我們將tnn-means算法在分布式模式下實現(xiàn)并對該算法進行分析。通過對算法過程的說明,在理論上驗證了單機情況下與分布式情況下的tnn-means算法的一致性。實驗也驗證了這一點,同時實驗結(jié)果也充分說明了文中算法在分布式下的正確性