基于規(guī)則的論壇爬取與抽取一體化.pdf

1、近些年來，論壇、博客和微博等相繼出現(xiàn)在互聯(lián)網(wǎng)應用中，并逐漸成為人們發(fā)布互聯(lián)網(wǎng)信息的主要方式。其中，論壇已成為信息發(fā)布、共享和傳播的重要平臺。論壇的內(nèi)容由普通用戶創(chuàng)建和發(fā)布，對于輿情分析、互聯(lián)網(wǎng)廣告推薦等應用具有重要意義。
　　 數(shù)據(jù)爬取(Data Crawler)是數(shù)據(jù)分析和應用的前提。傳統(tǒng)的爬取技術以頁面為單位爬取網(wǎng)頁，并將數(shù)據(jù)的處理與分析放在網(wǎng)頁爬取之后。這種方式不適合論壇數(shù)據(jù)的爬取。這主要是有以下兩方面的原因：首先，論壇數(shù)

2、據(jù)具有較強的結構性。傳統(tǒng)的爬蟲以單個頁面為單位進行數(shù)據(jù)的爬取，忽略了論壇頁面的內(nèi)在結構和頁面間的關聯(lián)。其次，數(shù)據(jù)大都隱藏于網(wǎng)絡頁面的結構中。傳統(tǒng)的爬蟲保存頁面的完整信息，不對頁面進行數(shù)據(jù)處理。
　　 因此，本文提出了一種新的數(shù)據(jù)爬取和信息抽取一體化的論壇數(shù)據(jù)爬取方法，并在該方法的基礎上設計與實現(xiàn)了InForCE系統(tǒng)。該系統(tǒng)分析論壇導航頁面的結構和內(nèi)容，以此進行帖子頁面爬取任務的調度，并按照論壇內(nèi)容對爬取的數(shù)據(jù)進行組織與管理。In

3、ForCE系統(tǒng)由爬蟲、HTML解析器、鏈接池、學習器和規(guī)則庫組成。爬蟲用于爬取網(wǎng)頁。HTML解析器將HTML頁面轉化為用于信息抽取的XHTML頁面。鏈接池用于判斷系統(tǒng)的調度策略。規(guī)則學習器和規(guī)則庫用于頁面的信息抽取。
　　 本文的主要貢獻總結如下：
　　 1.將頁面爬取、結構分析和內(nèi)容抽取相結合，并根據(jù)信息單元(而不是頁面)對爬取任務進行調度，對爬取的數(shù)據(jù)進行管理。信息單元是一個帖子的所有信息。論壇頁面類型包括導航頁面和

4、帖子頁面。導航頁面以列表的形式展示了所有討論的主題。帖子頁面顯示主題和關于主題的跟帖。導航頁面的內(nèi)容決定帖子頁面的爬取調度策略，并將同一個帖子的所有內(nèi)容組織在同一個文檔中。
　　 2.提出了一種基于XML和XPath模式的描述性模式映射規(guī)則，并將其用于論壇數(shù)據(jù)的抽取與轉化。XPath模式表示一組XPath的特征。它被用于定義模式映射規(guī)則。模式映射規(guī)則表示從源文檔(通常為XHTML格式)到目標文檔(通常為XML格式)的數(shù)據(jù)映射關系

5、。
　　 3.使用規(guī)則學習器簡化信息抽取的過程。通過機器學習的方式獲取模式映射規(guī)則，并將其自動轉化為XSLT，從而實現(xiàn)從論壇頁面到最終結果的轉換。規(guī)則的自動轉化使不具有XSLT知識的用戶也能夠快速完成數(shù)據(jù)的抽取任務。
　　 綜上所述，我們分析了論壇數(shù)據(jù)獲取過程中存在的問題，并針對論壇的數(shù)據(jù)特征設計了InForCE系統(tǒng)。本文以籬笆論壇為實驗，定義數(shù)據(jù)抽取模型，學習模式映射規(guī)則，并進行論壇數(shù)據(jù)的爬取和抽取。目前，InForC