基于Hadoop平臺的中文分詞算法應(yīng)用研究.pdf

1、近年來，隨著中文在世界舞臺扮演著越來越重要的角色，吸引眾多學(xué)者投入中文分詞的研究，目前實現(xiàn)了很多基于詞典和概率統(tǒng)計的中文分詞算法。
　　云計算平臺多是由大量廉價的PC機搭建而成，并且這種集群往往比超高性能的服務(wù)器表現(xiàn)還要好。以Hadoop為代表的云計算平臺是近幾年剛剛興起并得到快速發(fā)展的一種新技術(shù)，原因在于這種分布式平臺可以提供海量存儲和超級計算的能力。把分析挖掘超大數(shù)據(jù)集的任務(wù)使用云計算方案來解決，能夠極大地提升切分文本信息、挖

2、掘結(jié)果集與形象化顯示結(jié)果的效能。所以說，以Hadoop為代表的云計算平臺和海量中文數(shù)據(jù)集的處理相融合，會是一個很有科研價值和潛力的研究方向。
　　本文主要研究基于Hadoop的海量文本數(shù)據(jù)集的分詞算法改進及結(jié)果集的數(shù)據(jù)挖掘，具體工作有如下幾點:
　　1.研究了Hadoop的相關(guān)核心技術(shù)以及Hadoop集群的搭建過程。將Hadoop和中文分詞算法相融合，設(shè)計并實現(xiàn)了基于Hadoop的兩種中文分詞改進算法的分詞系統(tǒng)，并進一步介紹

3、了組成該分詞系統(tǒng)的核心模塊的作用。
　　2.中文分詞算法如何順利地在Hadoop平臺上實現(xiàn)是研究海量文本處理的重點和難點。本文詳細介紹了如何通過算法的改進來解決這個問題，從Hadoop的角度闡述為何選擇這樣的設(shè)計思路，并利用搭建好的Hadoop集群檢測這種算法設(shè)計的可行性。
　　3.詳細設(shè)計了ICTCLAS和IK Analyzer分詞算法在Hadoop集群上的對比實驗:首先進行了單機模式和Hadoop集群模式分詞速度的對比以

4、及不同數(shù)量節(jié)點的集群的分詞速度對比;然后完成了處理不同大小的文本時切分速度的對比;之后進行了處理不同數(shù)量的文本時切分速度的對比;最后完成了處理不同領(lǐng)域的文本內(nèi)容時切分精度、召回率和F值的對比;并從理論上詳細分析了實驗的結(jié)果。
　　4.在基于Hadoop平臺的中文分詞算法上引入了一個評價參數(shù)“詞頻”和任務(wù)管道方法，詳細分析了切分后的海量詞組集:首先挖掘詞頻與排序之間的關(guān)系是否符合Zipf定律;然后詳細對比了兩種分詞算法處理同一海量文