結合語義的位置語言模型.pdf

1、在過去的四十年里,信息檢索領域出現(xiàn)了很多經典的模型,諸如布爾模型、向量空間模型以及概率模型。隨著Pnoet和Corft首次提出基于統(tǒng)計語言模型的檢索模型,近十年來該模型得到了快速的發(fā)展。國內外許多學者都加入了這個領域的研究,做了大量有意義的工作,因此又陸續(xù)的提出了隱馬爾科夫模型,統(tǒng)計翻譯模型,風險最小化模型等。
　　但是大多數(shù)檢索模型都是基于詞在文檔中的頻率,而未考慮詞在文檔中的位置關系。例如這樣的兩篇文檔——包含了相同集合的詞并

2、且每個詞在兩篇文檔中的出現(xiàn)頻率都一樣,唯一不同的是這些詞在文檔中擺放的位置順序有所不同,那么對于大多數(shù)檢索模型這兩篇文檔的檢索得分是一樣的。但若第一篇文檔中查詢詞與查詢詞出現(xiàn)得更為鄰近,第二篇則出現(xiàn)得更為疏遠的話,那么顯然第一篇文檔理應獲得更高的檢索得分,而大多數(shù)檢索模型都無法做到這點。
　　基于這點出發(fā),Lv和Zhai提出了一種位置語言模型,并成功的應用于信息檢索,該模型最大的優(yōu)勢就是考慮了文檔中詞與詞的位置關系。但該模型依然還

3、存有缺陷:并未考慮到詞與詞之間的語義關系。因此本文在他們的工作基礎上進行了改進,提出了一種結合語義的位置語言模型。
　　具體來說本文的主要工作和創(chuàng)新點如下:
　　1)提出了一種新的技術——“平滑互信息”,來度量兩個詞之間的轉移概率。由于數(shù)據(jù)集中的詞存在稀疏性,因此直接使用互信息來度量兩個詞的轉移概率會造成大量的詞對無法計算。本文則對互信息采用了一種平滑技術,使得數(shù)據(jù)集上幾乎任意兩個詞都可計算出平滑互信息,從而計算出兩個詞的轉

4、移概率。更為重要的是,這種平滑技術遵循了詞在數(shù)據(jù)集中的原始分布,并在附錄中給出了這種平滑技術的理論證明。
　　2)基于概率統(tǒng)計學以及互信息等相關理論,提出了一種結合語義的位置語言模型。本文給出了該模型中每個未知參數(shù)的估計思想以及估計方法,并且進一步對比了位置語言模型和結合語義的位置語言模型的異同點。最后證明了位置語言模型是本文模型的一個特例。
　　3)通過實驗表明,基于本文模型的檢索模型在檢索性能方面要優(yōu)于基于位置語言模型的