基于AFOPT-tree的最大頻繁項(xiàng)集挖掘.pdf

1、隨著信息產(chǎn)業(yè)尤其是互聯(lián)網(wǎng)行業(yè)的高速發(fā)展，使得人們獲取和存儲數(shù)據(jù)的能力不斷提高，數(shù)據(jù)庫中存儲的數(shù)據(jù)以指數(shù)形式不斷增長。但在這些海量數(shù)據(jù)中，真正對于人們有決策價值的知識卻相對匱乏，關(guān)聯(lián)規(guī)則挖掘正是用于揭示數(shù)據(jù)集中不同的項(xiàng)或者屬性之間的關(guān)聯(lián)性，找出有價值的多個屬性之間關(guān)聯(lián)關(guān)系。而最大頻繁項(xiàng)集中隱含了所有頻繁項(xiàng)集，占用的內(nèi)存空間較小，并且在挖掘的過程中只用挖掘最大頻繁項(xiàng)集，可以有效的減少遞歸次數(shù)和內(nèi)存應(yīng)用，且有些數(shù)據(jù)挖掘應(yīng)用中也只需要獲得最大頻

2、繁項(xiàng)集，因而最大頻繁項(xiàng)集挖掘的研究有著重要的意義。
　　在如今面對大規(guī)模稠密數(shù)據(jù)項(xiàng)集時，超集檢測逐漸成為最大頻繁項(xiàng)集挖掘算法運(yùn)行中耗時最多的步驟，是算法效率提升的一個瓶頸;并且現(xiàn)有的最大頻繁項(xiàng)集挖掘算法大都采用基于FP-tree的模式對于空間搜索樹進(jìn)行遍歷，在自項(xiàng)向下的遍歷策略中效率并不高。因此本文在查閱了大量國內(nèi)外相關(guān)論文和文獻(xiàn)的基礎(chǔ)上，針對這兩方面的問題，本文改進(jìn)了基于投影的超集檢測算法，提出了基于AFOPT-tree的最大頻

3、繁項(xiàng)集算法A-MFI，并在此基礎(chǔ)上實(shí)現(xiàn)了A-MFI算法在Hadoop平臺上的分布式實(shí)現(xiàn)。
　　論文的主要工作如下:
　　(1)首先對于數(shù)據(jù)挖掘尤其是關(guān)聯(lián)規(guī)則挖掘和最大頻繁項(xiàng)集挖掘的理論、特點(diǎn)及其主流算法進(jìn)行了介紹，并對云計算和Hadoop云平臺的相關(guān)知識進(jìn)行了介紹。
　　(2)針對現(xiàn)有最大頻繁項(xiàng)集挖掘算法采用的FP-tree在自項(xiàng)向下遍歷策略中效率不高的問題，本文采用AFOPT-tree模型來構(gòu)建空間搜索樹;針對提升超

4、集檢測方法效率的問題，本文提出優(yōu)化的基于投影的超集檢測方法，采用AFOPT-tree模型對傳統(tǒng)的MFI-tree進(jìn)行改造，將基于投影超集檢測方法對于MFI-tree自底向上的遍歷模式改變?yōu)樽皂斚蛳碌谋闅v模式，并在MFI-tree中加入一條相同數(shù)據(jù)項(xiàng)集之間的鏈表域，提升前瞻剪枝的效率。在這些改進(jìn)的基礎(chǔ)上，提出了基于AFOPT-tree的最大頻繁項(xiàng)集挖掘算法A-MFI，并采用不同的數(shù)據(jù)項(xiàng)集對算法進(jìn)行實(shí)驗(yàn)，驗(yàn)證了算法對比同類算法在超集檢測優(yōu)化

5、和總體運(yùn)行效率上的優(yōu)越性。
　　(3)針對面對如今大規(guī)模數(shù)據(jù)集，單機(jī)最大頻繁項(xiàng)集挖掘算法的運(yùn)行效率提升有限的問題，本文在對云計算和Hadoop平臺的相關(guān)知識深入學(xué)習(xí)的基礎(chǔ)上，對A-MFI算法進(jìn)行了分布式改造，實(shí)現(xiàn)了對最大頻繁項(xiàng)集挖掘的分布式挖掘。經(jīng)實(shí)驗(yàn)驗(yàn)證，分布式的最大頻繁項(xiàng)集挖掘方法相比單機(jī)在面對大規(guī)模稠密數(shù)據(jù)項(xiàng)集時運(yùn)行效率有了明顯的提升。
　　(4)最后，對全文內(nèi)容進(jìn)行總結(jié)，并指出文中現(xiàn)有研究內(nèi)容的不足，為以后的研究指明