決策樹算法應用及并行化研究.pdf

1、在信息科技飛速發(fā)展的今天,各行各業(yè)每天都會產生大量的數據,這些數據中蘊含著豐富的知識。對于善于運用數據分析的用戶來講這就是一筆財富,而對于不了解或者不會對數據進行發(fā)掘的用戶就是數據垃圾。對于不同類型的數據需運用不同的挖掘算法,但傳統(tǒng)的數據挖掘算法處理的數據量是有限的,當數據量顯著增大時,就需要更合適的數據挖掘算法來處理。
　　云計算是近幾年興起的新概念,在計算機領域,從某種意義上來講,可以把云計算當做一種網絡,一種可以處理海量數據

2、的新模式。開發(fā)云計算架構下的數據挖掘系統(tǒng)是當前處理海量數據挖掘的一種趨勢。通過對傳統(tǒng)算法的改進,將算法移植到云計算平臺,借助云技術的并行化處理能力,海量數據的挖掘問題也將迎刃而解。
　　基于以上的研究背景,首先本文將對數據挖掘技術和云計算平臺進行研究,然后對數據挖掘決策樹算法進行處理,結合實際工作情況,對C4.5算法的應用進行研究,并使用羅比達法則對算法效能進行改進。然后根據海量數據挖掘的要求,將能產生簡單決策樹結構的算法-CAR

3、T,進行基于隨機森林模型的改進。隨機森林模型對于決策樹建樹的數據類型、數據缺失、屬性類別以及決策屬性類別多值要求都不高,基于這些優(yōu)點將CART算法應用到隨機森林模型中能克服CART算法的弊端。最后本文將對算法并行化進行研究,通過對幾個并行模型的研究,選擇最合適的MapReduce編程模型將改進的CART算法實現。通過實驗,將改進的CART算法在串行和并行模式下分析大量數據,實驗表明算法在有效性、處理速度和加速比等方面都有較好的表現,以此