面向定題領域的事件驅動和協(xié)議驅動的主題爬蟲應用研究.pdf

1、網(wǎng)絡數(shù)據(jù)根據(jù)呈現(xiàn)的結構被分為表層網(wǎng)頁數(shù)據(jù)和深層網(wǎng)頁數(shù)據(jù)，深層網(wǎng)絡數(shù)據(jù)占網(wǎng)絡數(shù)據(jù)的大部分。由于通用主題爬蟲注重抽取表層網(wǎng)絡數(shù)據(jù)，沒有重視深層網(wǎng)頁數(shù)據(jù)的抓取，查全率不高；另外通用爬蟲返回的結果多而雜亂，且內容的準確率不高。因此，一個能抓取深層網(wǎng)絡數(shù)據(jù)的，且返回的網(wǎng)頁數(shù)據(jù)的準確度能達到用戶需求的主題爬蟲是當前研究課題的主要問題。本文針對定題領域，采用事件驅動模式和協(xié)議驅動模式，結合定題的主題網(wǎng)頁特征，構建定題爬蟲應用模型。本文主要工作有：

2、r>　　1.研究了主題爬蟲的相關理論和相關算法。探索事件驅動的觸發(fā)方式，提高了傳統(tǒng)主題爬蟲的召回率；提出結合布爾模型和向量空間模型的方式來計算主題相關性，比較了使用布爾模型與使用布爾和向量空間模型結合的主題相關性預測的兩種方式，分析表明后者在定題的相關性結果上更準確。
　　2.提出了基于事件驅動的定題領域的主題爬蟲系統(tǒng)模型，該模型提高了主題爬蟲爬全率。該模型用事件驅動方式抓取深層網(wǎng)頁。在鏈接分析時使用布隆過濾器去重。在鏈接相關性預

3、測時采用基于鏈接的BM字符串匹配算法結合主題鏈接特征條件，降低了鏈接匹配和網(wǎng)頁下載的開銷；使用基于向量空間模型的內容過濾算法，把匹配到的主題關鍵字射映到向量空間模型中對應的項，提高了鏈接預測的準確性。該模型以車型參數(shù)作為定題主題，實現(xiàn)了該領域信息的自動抽取和解析，提高了網(wǎng)頁召回率。
　　3.建立了基于協(xié)議驅動的定題領域的主題爬蟲系統(tǒng)模型，該模型提高了主題爬蟲爬準率。提出了在特定領域分詞時采用正向最大字符串匹配法結合正向主題關鍵詞特