一個改進的中文分詞算法及其在Lucene中的應(yīng)用.pdf

1、中文分詞是中文信息處理的核心問題之一。采用基于字符串匹配與統(tǒng)計相結(jié)合的算法能夠較好的實現(xiàn)中文分詞。該算法首先將中文文本以標點符號為切分斷點，把待切分的文本切分成含有完整意義的短句，以提高字符串匹配算法的正確率。然后將每個短句分別按照正向最大匹配和逆向最小匹配進行掃描、切分，同時在每次掃描時，根據(jù)語義和語言規(guī)則對結(jié)果進行優(yōu)化，將漢字、英文字母、數(shù)字分別進行劃分，增強算法對不同類型文本的處理能力。最后，根據(jù)最小切分原則和統(tǒng)計的方法進行歧義消

2、解處理。
　　 通常中文分詞的算法分為三種，基于字符串匹配、基于統(tǒng)計方法和基于理解的。三者各有優(yōu)缺點，改進的分詞算法集成了基于字符串匹配算法在實現(xiàn)方式簡單，效率高的優(yōu)點，并輔以基于語言的基本規(guī)則提高了初切分階段的正確率。在具體實現(xiàn)上，兩次掃描分別采用了正向最大匹配與逆向最小匹配的算法。算法的選用分別利用了正向最大匹配切分片段數(shù)較少的優(yōu)點和逆向最小匹配對多義型歧義解決較好的優(yōu)點。利用語言規(guī)則優(yōu)化則是在掃描的同時將漢字、字母和數(shù)字分

3、開劃分，并且對于漢字中的數(shù)詞、量詞，英文字母中的羅馬數(shù)字再分別處理，較好的解決了多種類型文本的分詞問題。改進的分詞算法的歧義消解處理過程是根據(jù)兩次掃描的結(jié)果進行比較，如果結(jié)果完全相同則直接輸出。如果兩次掃描結(jié)果不同，判斷為有歧義字段產(chǎn)生，需要做相應(yīng)消歧處理：如果切分的片段數(shù)不同，根據(jù)最小切分的原則選擇片段數(shù)較小的作為結(jié)果輸出；如果切分片段數(shù)相同，則采用統(tǒng)計的方法，利用詞典中的詞頻來判斷采用哪個結(jié)果作為正確輸出。該算法的另一個改進是在詞典