搜索引擎中倒排列表距離約束求交算法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)信息呈爆炸式增長，導(dǎo)致信息過載問題越來越嚴重，大量無關(guān)的冗余信息增加了用戶獲取準(zhǔn)確信息的難度。而搜索引擎作為一種有效解決信息過載的手段，能夠幫助用戶高效收集和過濾可用信息，因此始終在互聯(lián)網(wǎng)中占據(jù)重要地位。目前主流搜索引擎發(fā)展到以用戶需求為中心、貼近用戶意圖的精確搜索階段，開發(fā)者們不斷研究新技術(shù)來試圖獲取需求信息。另一方面用戶查詢需求越來越多樣化，除了傳統(tǒng)文本搜索之外，圖片搜索、語音搜索也有很大的需求空間。這

2、些都對倒排索引結(jié)構(gòu)帶來了很大的挑戰(zhàn)。作為查詢請求處理更細化、更準(zhǔn)確化的一個例子，本文主要研究距離約束條件在索引求交中的作用，即請求處理時不僅考慮多個查詢詞在文檔中共同出現(xiàn)，同時考慮根據(jù)查詢詞間的距離賦予結(jié)果文檔不同的分數(shù)，滿足用戶不同需求。
　　本文一方面通過設(shè)計新的倒排索引結(jié)構(gòu)，研究在新數(shù)據(jù)結(jié)構(gòu)下，既能高效地計算滿足距離限制的結(jié)果文檔，又能計算忽略距離限制的結(jié)果文檔的方法，方便獲得更多結(jié)果，賦予不同優(yōu)先級，滿足用戶不同需求，進而

3、減輕緊密度篩選等后續(xù)計算的壓力，增大有效數(shù)據(jù)的吞吐量，提高查詢結(jié)果的質(zhì)量;另一方面希望通過使用并行技術(shù)等手段，對帶緊密度分數(shù)計算的檢索過程進行優(yōu)化，提高查詢處理的速度。此外，參考傳統(tǒng)倒排索引結(jié)構(gòu)下的請求處理對算法進行優(yōu)化，例如在考慮距離限制的前提下，結(jié)合倒排列表長度，調(diào)整倒排列表的計算次序和計算條件，降低布爾運算復(fù)雜度等等。實驗表明，本文提出的新數(shù)據(jù)結(jié)構(gòu)和相關(guān)算法在帶距離限制的求交算法上具備一定優(yōu)勢，提高了整體檢索速度，同時，優(yōu)化了返回