基于Lucene的面向主題爬行搜索引擎的應用研究.pdf

1、基于主題爬行的搜索引擎，即垂直搜索引擎，又可稱為主題搜索引擎。它與通用搜索引擎的區(qū)別主要體現(xiàn)在資源與服務上，主題搜索引擎提供的資源都是與某個主題相關的，服務上更具有專業(yè)特色，有一定程度的個性化。由于只針對某一特定主題進行深入挖掘，所以在特定主題上分類更加細致更加精確，數(shù)據(jù)也更加全面和深入，資源的更新也相對更加及時。Web資源日新月異的發(fā)展，更新和多元化發(fā)展的速度讓搜索引擎面臨著一個尷尬的境地。通用搜索引擎己無法滿足特定用戶更深入的查詢需

2、求，因而針對特定領域進行主題爬行的垂直搜索引擎將會越來越實用以及可行。
　　 本文主要對垂直搜索引擎的核心主題爬行進行研究，它的關鍵技術包括網(wǎng)頁分類技術、待爬行URLs優(yōu)先級計算以及主題爬行算法。本文針對關鍵技術介紹了基于數(shù)據(jù)挖掘的網(wǎng)頁分類方法，并提出了基于網(wǎng)頁分塊的待爬行URLs優(yōu)先級計算方法，通過利用網(wǎng)頁分塊技術，以塊為單位來計算待爬行URLs的主題相關性，通過整個塊的文本來預測待爬行URLs與主題的相關度，這樣就可以解決單