

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、在過去的四十年里,信息檢索領域出現(xiàn)了很多經典的模型,諸如布爾模型、向量空間模型以及概率模型。隨著Pnoet和Corft首次提出基于統(tǒng)計語言模型的檢索模型,近十年來該模型得到了快速的發(fā)展。國內外許多學者都加入了這個領域的研究,做了大量有意義的工作,因此又陸續(xù)的提出了隱馬爾科夫模型,統(tǒng)計翻譯模型,風險最小化模型等。
但是大多數(shù)檢索模型都是基于詞在文檔中的頻率,而未考慮詞在文檔中的位置關系。例如這樣的兩篇文檔——包含了相同集合的詞并
2、且每個詞在兩篇文檔中的出現(xiàn)頻率都一樣,唯一不同的是這些詞在文檔中擺放的位置順序有所不同,那么對于大多數(shù)檢索模型這兩篇文檔的檢索得分是一樣的。但若第一篇文檔中查詢詞與查詢詞出現(xiàn)得更為鄰近,第二篇則出現(xiàn)得更為疏遠的話,那么顯然第一篇文檔理應獲得更高的檢索得分,而大多數(shù)檢索模型都無法做到這點。
基于這點出發(fā),Lv和Zhai提出了一種位置語言模型,并成功的應用于信息檢索,該模型最大的優(yōu)勢就是考慮了文檔中詞與詞的位置關系。但該模型依然還
3、存有缺陷:并未考慮到詞與詞之間的語義關系。因此本文在他們的工作基礎上進行了改進,提出了一種結合語義的位置語言模型。
具體來說本文的主要工作和創(chuàng)新點如下:
1)提出了一種新的技術——“平滑互信息”,來度量兩個詞之間的轉移概率。由于數(shù)據(jù)集中的詞存在稀疏性,因此直接使用互信息來度量兩個詞的轉移概率會造成大量的詞對無法計算。本文則對互信息采用了一種平滑技術,使得數(shù)據(jù)集上幾乎任意兩個詞都可計算出平滑互信息,從而計算出兩個詞的轉
4、移概率。更為重要的是,這種平滑技術遵循了詞在數(shù)據(jù)集中的原始分布,并在附錄中給出了這種平滑技術的理論證明。
2)基于概率統(tǒng)計學以及互信息等相關理論,提出了一種結合語義的位置語言模型。本文給出了該模型中每個未知參數(shù)的估計思想以及估計方法,并且進一步對比了位置語言模型和結合語義的位置語言模型的異同點。最后證明了位置語言模型是本文模型的一個特例。
3)通過實驗表明,基于本文模型的檢索模型在檢索性能方面要優(yōu)于基于位置語言模型的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 結合語義的位置語言模型.pdf
- 結合鄰近度的語義位置語言檢索模型.pdf
- Haskell語言類型推理的語義模型研究.pdf
- SEDatalog語言的操作語義及其運行模型.pdf
- 基于位置語言模型的中文信息檢索方法研究.pdf
- 基于統(tǒng)計和潛在語義分析的混合語言模型的研究.pdf
- 對象并發(fā)演算模型及對象語言語義研究.pdf
- UML模型的語義模型.pdf
- 基于位置語義的位置服務(LBS)隱私保護研究.pdf
- 基于中間語義的跨語言文本分類模型研究.pdf
- 基于潛在語義索引模型的查詢語義擴展模型.pdf
- 時間狀語的結構位置與語義解釋.pdf
- Oz語言對象的π語義.pdf
- 本體論和統(tǒng)計語言模型相結合的跨語言信息檢索研究.pdf
- 商法語言的語義分析.pdf
- 否定的語義模型.pdf
- 局部描述特征結合概率潛在語義模型的場景分類技術研究.pdf
- 結合底層分割的圖像語義分割.pdf
- 結合WordNet的領域語義標注研究.pdf
- 向量空間模型與語義理解相結合的論文相似度算法研究.pdf
評論
0/150
提交評論