基于Agent的Web信息抽取研究.pdf

1、隨著萬維網的迅速發(fā)展,近十年來,Web信息抽取日益成為學術界和商業(yè)領域的一個研究熱點.Web信息抽取的目標是,從多個異質的Web站點中定位和識別感興趣的信息,并將抽取結果以統一的結構化的格式表示.Web信息抽取是Web數據挖掘、機器翻譯等應用的基礎.Web信息抽取的主要困難是由于萬維網上的Web頁面固有的數量巨大、異質且動態(tài)更新的特點而帶來的復雜性、可擴展性、適應性問題.該文提出了一個基于Agent技術的Web信息抽取系統.它是一個多A

2、gent系統,主要由三個Agent和四個知識庫組成.知識庫是系統運行的基礎,該文采用XML表示Web信息抽取所用知識和結果數據.另外,XML在該文中還用于Agent之間的通信.系統中的Agent包括用戶接口Agent、Web頁面獲取Agent和信息抽取Agent.各個Agent有自己的子目標、功能和行為,可以自主運行,同時Agent之間通過協調和合作,共同為準確高效地進行Web信息抽取的總目標服務.采用這種結構簡化了問題的復雜性.系統的

3、三個Agent中,信息抽取Agent是核心,主要負責學習抽取規(guī)則和運用抽取規(guī)則進行信息抽取.其中借鑒了現有的已被廣泛使用的包裝器歸納法的思想和DOM樹方法.系統的抽取規(guī)則從信息在特定領域的語義特征和頁面格式特征兩方面定義,使抽取規(guī)則具有一定程度的適應性和可重用性.由于Web頁面獲取Agent具有主動感知Web頁面更新、并通知信息抽取Agent調整抽取規(guī)則的能力,更進一步增強了系統的適應性.此外,通過用戶和Agent配合、半自動化學習抽取