基于文本類別的層次中文分詞算法研究.pdf

1、隨著社會信息化的發(fā)展，無論是黨政機關(guān)，還是公司企業(yè)學(xué)校，人們更青睞于用電子文檔的形式來存儲、備份文檔。于是電子信息迅速增長成了海量信息，這給人們從中獲取自己所需的信息增加了很大的困難，所以必須對海量信息進行處理，中文分詞技術(shù)就是中文信息處理的基礎(chǔ)。經(jīng)過十幾年的研究發(fā)展中文分詞技術(shù)有了很大突破，但是中文分詞系統(tǒng)始終存在著不足，這是由于中文語言的復(fù)雜性導(dǎo)致的。
　　 為了提高中文分詞系統(tǒng)的準確率，通過對中文分詞現(xiàn)狀的學(xué)習(xí)，深入研究了

2、常用的中文分詞算法和各種分詞詞典結(jié)構(gòu)，提出了改進算法。本文提出了一個基于雙數(shù)組的逆向匹配分詞算法，在詞典結(jié)構(gòu)上，使用雙數(shù)組詞典，它繼承了TRIE索引樹逐字匹配的特點，節(jié)省了空間，提高了查詢效率；在匹配算法上，根據(jù)統(tǒng)計在同等條件下，單純使用逆向最大匹配比正向最大匹配的錯誤率低，所以本文實現(xiàn)的算法是結(jié)合了雙數(shù)組和逆向匹配的優(yōu)點。從實驗結(jié)果來看，這種結(jié)合了雙數(shù)組逆序詞典結(jié)構(gòu)和逆向匹配的中文分詞算法取得了較好的成果。
　　 為了給算法提

3、供一個好的應(yīng)用環(huán)境，本文設(shè)計了一個基于文檔類別的層次中文分詞系統(tǒng)。一般說來，分詞模型不考慮文本的類別屬性，然而對于類別信息豐富、復(fù)雜度大、專業(yè)性強的知識管理應(yīng)用系統(tǒng)而言，就需要更具針對性的分詞方式。這種基于文檔類別的中文分詞系統(tǒng)模型，分為輸入層、分類層、分詞層、數(shù)據(jù)層；數(shù)據(jù)層的詞典有四種：分別是基礎(chǔ)信息詞典、核心詞典、專業(yè)詞典和臨時詞典。由于專業(yè)詞典具有針對性，占用空間小，靈活性高，易更新，使得未登錄詞能及時得到補充。該系統(tǒng)能夠?qū)y帶分