搜索引擎返回結果聚類技術的研究與實現(xiàn).pdf

1、隨著因特網(wǎng)技術的飛速發(fā)展和搜索引擎技術的日趨成熟，人們逐漸開始頻繁利用網(wǎng)絡來獲取所需的資源，而現(xiàn)有的搜索引擎返回的查詢結果數(shù)量龐大且呈線性排列，用戶很難在較短的時間內找到有用的信息，因此如何能夠快捷、準確地發(fā)現(xiàn)信息則成為目前信息檢索領域亟待解決的問題。文本聚類具有較強的靈活性和自動處理能力，已經(jīng)逐漸成為對搜索引擎進行有效地組織和導航的重要手段。 本文就文本聚類算法進行了深入的研究，采用Lingo聚類算法作為主要框架，探索和研究文

2、本聚類在搜索引擎領域內的應用，主要研究工作如下： 文本預處理的許多關鍵技術直接影響聚類的效果，因此本文對文本聚類預處理中涉及的關鍵技術做了深入的研究，在此基礎上設計和實現(xiàn)了包含網(wǎng)頁去噪、詞干提取、停止詞過濾等功能的預處理子系統(tǒng)。 TF-IDF是向量空間模型中最常用的權重計算方法，它可以有效地強化在文檔中出現(xiàn)的高頻詞匯的權重，弱化在文檔集合中出現(xiàn)頻率較高但是包含文檔信息量少的常用詞的權重。但是，事實上詞對文檔的重要程度還

3、與詞的詞性以及詞在文檔中的位置因素有關，因此本文在傳統(tǒng)的TF-IDF的基礎上加入詞性權重與位置權重對其進行修正，實驗證明改進后的TF-IDF可以更加準確的描述詞對文檔的重要程度，有效地提高了聚類算法的查準率和查全率，使算法的整體性能有了較大的提高。 本文對Lingo聚類算法做了深入的研究和分析，通過對比實驗證明它比目前流行的后綴樹算法(STC)聚類的性能更優(yōu)，提取出的類標簽更能反映類別信息，易于理解。但是它產(chǎn)生的聚類沒有層次性，

4、不能很好的反映類別之間的包含關系。因此本文在Lingo的基礎上引入HSTC(層次的后綴樹聚類算法)中層次組織的方法對Lingo的聚類結果進行層次組織。實驗證明改進后的層次的Lingo聚類算法(HLingo)能夠較好的表現(xiàn)類別之間的層次關系，提取出的類標簽也能充分的反應類別信息，克服了類合并時出現(xiàn)的類標簽提取過長的問題，而且通過引入雙閾值來調整包含關系，有效地克服了HSTC中類合并頻繁的問題。無論是在測試集數(shù)據(jù)比較單一還是比較復雜的情況下

5、都能獲得較好的聚類效果，比HSTC具有更好穩(wěn)定性。 通常情況下對詞進行詞性標注時必須要考慮詞的上下文環(huán)境，因此如果將詞性標注技術引入搜索引擎結果聚類系統(tǒng)則意味著對搜索搜索引擎返回的結果必須在線進行標注，但由于詞性標注算法的實現(xiàn)往往比較復雜，算法的時間復雜度較高，這對搜索引擎結果聚類系統(tǒng)的運行效率影響很大。本文對詞性標注技術做了較為深入的研究，考慮到將詞性標注引入聚類系統(tǒng)帶來的巨大的系統(tǒng)開銷，設計和實現(xiàn)了一個基于XML的詞性詞典，

6、只有第一次被檢索到的文檔才進行詞性標注并更新詞典，否則直接在詞典中查詢即可得到詞的詞性信息，通過這種方式有效地避免了對相同文檔地重復標注，從而減少了系統(tǒng)不必要的開銷。最后結合以上幾個方面的研究，設計和實現(xiàn)了一個聚類系統(tǒng)HappyDonkey，并將開源的搜索引擎Nutch集成到本系統(tǒng)中，實現(xiàn)了一個既可以對Yahoo搜索引擎返回的結果進行聚類，又可以就本系統(tǒng)的查詢結果進行聚類，對外開放查詢接口的多功能的聚類系統(tǒng)。 實驗證明，本文所研