基于交叉詞項的中文信息檢索方法研究.pdf

1、近十年來，伴隨著萬維網(wǎng)的繁榮發(fā)展，信息數(shù)據(jù)以爆炸式的增長，如何有效和高效的從如此龐大的信息中獲取所需，正是信息檢索方法研究中亙久不變的重要主題，旨在更好的解決用戶日益激增的信息需求。
　　在大部分傳統(tǒng)的中文信息檢索模型中，通常假定每個查詢詞項都是彼此獨立的。雖然將這些檢索模型應用到信息檢索中也獲取了不錯的效果，但是對應的也存在詞項獨立性假設的局限性，同時理論上詞項關聯(lián)性在概率檢索框架下仍然大有可為。通過將查詢詞項之間的關聯(lián)性納入考

2、慮，我們可能可以進一步提高檢索性能。因此，本文就基于交叉詞項的中文信息檢索方法進行了相關研究。主要工作包括以下兩個方面:
　　第一，將交叉詞項模型引入到中文信息檢索中對詞項近鄰性進行建模，提高概率檢索模型的性能。通過交叉詞項，多個查詢詞項之間的關聯(lián)性可以用同樣的方式以簡單的一元偽詞項來表示，當相應的查詢詞項彼此很接近時就會產(chǎn)生二元交叉詞項，我們采用核函數(shù)對其影響建模。本文中，首先對中文語料集進行預處理，通過包括一元分詞，CJK中文

3、分析器（二元分詞），JCSEG中文分詞器等多種途徑，然后對其建立中文索引，最后對查詢詞項在文檔中的位置信息進行建模，由于我們只考慮二元交叉詞項的情況，故在建模時以兩兩成對的查詢詞項來進行標識，該方法不僅利用了查詢詞項之間的位置近鄰性，還結(jié)合了概率模型的優(yōu)勢，進一步提高概率檢索模型的性能。我們在中文語料集NTCIR5和6上均進行了大量實驗，實驗結(jié)果表明，基于交叉詞項模型的中文信息檢索建模方法相對于傳統(tǒng)的檢索方法來說擁有更好的檢索性能。

4、r>　　第二，通過在偽相關反饋方法中融合查詢詞項之間關聯(lián)性信息，可以由此對原始查詢進行進一步的擴展。本文中通過在相關性模型基礎上，引入交叉詞項模型，充分考慮到了查詢詞項在反饋文檔中的關聯(lián)性，在新的反饋文檔中通過交叉詞項將查詢詞項兩兩關聯(lián)起來，提高了彼此更為接近的查詢詞項的權重，進而獲得了關聯(lián)性更強，同時在交叉詞項模型下與主題更相關的擴展詞項。我們使用了兩種偽相關反饋估計方法，包括獨立同分布抽樣方法和條件抽樣方法。在語料集NTCIR5中，