基于深度網絡的信息爬取研究及應用.pdf

1、隨著信息技術的發(fā)展，深度網絡蘊含的數據越來越多，如何有效地獲取深度網絡中的數據已經成為當前的研究熱點。深度網絡往往只提供一個查詢接口供用戶使用，用戶需要提交查詢關鍵詞從深度網絡中獲取數據。
　　目前，存在較多關鍵詞查詢算法，典型的有Google使用的TF-IDF算法和Ntoulas等人提出的自適應貪婪算法。TF-IDF算法只關注深度網絡中的重要文檔，不關注單個深度網絡的文檔覆蓋率，適用于大型爬蟲。自適應貪婪算法利用貪心的思想獲取最

2、大的單個深度網絡文檔覆蓋率，效果較好，適合于中小型爬蟲。本文主要工作如下：
　　根據實際項目的需要，本文重點研究了自適應貪婪算法。在此基礎上，本文提出了基于關鍵詞相關度篩選的自適應貪婪算法。在某些專業(yè)領域中，關鍵詞高度關聯(lián)，本文提出利用關鍵詞相關度來衡量不同關鍵詞間的關聯(lián)度，根據關鍵詞的相關度篩選關鍵詞，避免提交高度關聯(lián)的關鍵詞造成返回結果集的較大冗余。
　　當網站限制返回查詢結果數量時，返回結果集是原結果集的子集。受TF-

3、IDF思想啟發(fā)，本文提出一種關鍵詞加權選詞法，認為包含關鍵詞少的文檔和包含高詞頻關鍵詞的文檔帶來的冗余更小，比其他的文檔更重要。出現頻率高和關聯(lián)關鍵詞少的關鍵詞會被優(yōu)先選取，同時為了避免提交查詢次數過多，利用關鍵詞詞頻閾值判斷來避免匹配文檔過低的關鍵詞。
　　本文實現的深度網絡爬蟲系統(tǒng)，利用改進的算法來獲取深度網絡的數據。在爬蟲系統(tǒng)中主要實現了URL管理模塊、文檔下載模塊、信息抽取模塊、文本緩存模塊、查詢請求生成模塊等。有效地解決

4、了大量URL管理、文檔信息抽取，深度網絡關鍵詞有效選取等問題。爬蟲連續(xù)運行較長時間，成功獲取上百萬文檔，達到中小爬蟲的性能。
　　通過對不同類型的數據，包括新浪、搜狐、騰訊、網易的新聞數據和萬方的論文摘要數據進行仿真實驗，并將效果和原算法進行對比，說明在專業(yè)領域，基于關鍵詞篩選的自適應貪婪選算法在文檔覆蓋率等同的條件下單位資源消耗量少于原算法；在返回結果受限制的深度網絡中，關鍵詞加權選詞法在文檔覆蓋率、單位文檔資源消耗量都優(yōu)于原算