基于MapReduce和Rough集理論的海量數(shù)據(jù)屬性約簡(jiǎn)方法研究.pdf

1、隨著社會(huì)網(wǎng)絡(luò)化和信息化的迅猛發(fā)展，在許多領(lǐng)域積累了海量的數(shù)據(jù)，如何降低這些數(shù)據(jù)的維度，從中選擇出有用的特征，一直是海量數(shù)據(jù)挖掘的重要研究課題?；赗ough集理論的屬性約簡(jiǎn)是一種有效的數(shù)據(jù)約簡(jiǎn)和降維方法，它能在盡可能保證數(shù)據(jù)分類(lèi)能力不變的情況下有效降低數(shù)據(jù)的維度、選擇最有用的特征。然而，經(jīng)典的Rough集屬性約簡(jiǎn)方法對(duì)大數(shù)據(jù)的處理能力有限、效率不高，不能適應(yīng)海量數(shù)據(jù)挖掘的應(yīng)用需求，因此，研究基于Rough集的海量數(shù)據(jù)屬性約簡(jiǎn)，能拓展粗糙

2、集理論的應(yīng)用，具有重要的研究?jī)r(jià)值。
　　 云計(jì)算的興起，為海量數(shù)據(jù)挖掘帶來(lái)了新的思路，目前云計(jì)算技術(shù)已成為海量數(shù)據(jù)挖掘的高效解決方案。采用云計(jì)算技術(shù)進(jìn)行海量數(shù)據(jù)挖掘的關(guān)鍵在于設(shè)計(jì)能運(yùn)行于云計(jì)算平臺(tái)的并行數(shù)據(jù)挖掘算法。本文將目前主流的云計(jì)算并行編程模型MapReduce與Rough集的理論相結(jié)合，針對(duì)海量數(shù)據(jù)的屬性約簡(jiǎn)問(wèn)題，圍繞并行屬性約簡(jiǎn)的關(guān)鍵技術(shù)進(jìn)行了研究，取得的研究成果如下:
　　 (1)提出了基于MapReduce

3、和Rough集理論的并行正區(qū)域計(jì)算算法。本文在分析正區(qū)域求解過(guò)程可并行性的基礎(chǔ)上，結(jié)合MapReduce的并行思想，提出了基于MapReduce的并行正區(qū)域計(jì)算方法，提高了對(duì)大規(guī)模數(shù)據(jù)集計(jì)算正區(qū)域的效率。
　　 (2)提出了基于MapReduce和Rough集理論的并行屬性核計(jì)算算法。本文在并行計(jì)算正區(qū)域的基礎(chǔ)上，研究了屬性核計(jì)算過(guò)程中條件屬性之間和判斷每個(gè)條件屬性是否為核屬性?xún)蓚€(gè)層面的并行方式，提出了基于MapReduce的并

4、行屬性核計(jì)算方法，并通過(guò)仿真實(shí)驗(yàn)，驗(yàn)證了該方法對(duì)大規(guī)模數(shù)據(jù)的高效處理能力。
　　 (3)提出了基于MapReduce和Rough集理論的并行屬性約簡(jiǎn)算法。本文在基于MapReduce的并行屬性核計(jì)算算法的基礎(chǔ)上，研究了計(jì)算屬性重要性過(guò)程和判斷屬性集是否是一個(gè)約簡(jiǎn)的并行性，提出了基于MapReduce的并行屬性重要性計(jì)算算法和并行屬性約簡(jiǎn)算法。對(duì)比實(shí)驗(yàn)結(jié)果顯示了該算法的高效性。
　　 (4)設(shè)計(jì)了一個(gè)基于Hadoop云計(jì)算