基于語言模型的文本分割研究.pdf

1、文本分割的實質是根據(jù)文本內子主題的相似程度，將文本切分成若干個語義段落，每個段落的內部具有最高的語義一致性。因此，文本分割最需要解決的技術難點為度量文本的相似性及識別語義段落的邊界。本文從以上兩個問題出發(fā)，重點研究了基于語言模型的詞語特征提取，利用 Dotplotting模型進行文本分割的相關內容及算法。
　　本文對語言模型進行了相關研究。語言模型是一種概率統(tǒng)計模型，已被廣泛應用于字符識別、機器翻譯、信息檢索等技術中，能很好的解決

2、文本中詞匯出現(xiàn)的概率問題。由于詞匯構成了一篇文本，是文本最基本的組成部分，因此，可以通過對文本詞匯的統(tǒng)計，獲得文本主題的淺層信息。但是語言模型僅僅考慮了詞匯概率并未考慮詞匯的語義相關性，無法進一步獲得主題的深層信息。基于此，本文提出了一種改進的二元語言模型 Bigram，利用關聯(lián)矩陣加強詞匯之間的約束力，借此來描述句子的相關性并進行特征提取，進而確定子主題的相似性。
　　由于本文使用語言模型進行特征提取，在自然語言中，絕大部分的詞

3、是低頻詞，因此肯定存在著稀疏的問題。而在語料訓練中，最大似然估計賦予沒有出現(xiàn)過的Bigram模型0概率，因此必須對語言模型進行數(shù)據(jù)平滑處理。本文分析了目前常用的幾種平滑處理算法的特點，結合Bigram模型的特性，采用Katz算法進行平滑處理，以期得到更好的參數(shù)。
　　本文使用 Dotplotting算法進行文本分割。該算法考慮了文檔中詞匯分布情況并進行了全局的優(yōu)化，但是在確定新的語義段落邊界時，未能充分考慮之前已經確定的邊界，且前

4、向掃描與后向掃描得到的密度結果不相同。本文針對上述Dotplotting算法存在的一些不足，對其進行了一些改進：增加了后向掃描的密度值；考慮了過于短小的語義段落無法很好的描述一個子主題，增加一個段落的長度懲罰因子來加以約束；最后提出了改進的密度評價函數(shù)。
　　總之，本文基于詞語匯聚的思想，采用了二元語言模型 Bigram以及Dotplotting算法對文本分割進行了深入研究，針對某些不足之處提出了改進的方法，通過實驗結果的對比，驗