Web個人信息集成問題研究.pdf

1、Web個人信息指存在于網頁中與一個人相關的信息,依照存在方式不同,可分為以結構化形式表達的個人直觀屬性和隱藏在非結構化文本中的非直觀信息。隨著網絡技術成熟和網絡應用深入發(fā)展,互聯網網站數量呈爆炸式增長,其上個人信息資源數量也很驚人,內容豐富,涵蓋了人們生活和工作的各個領域,根據Web查詢統計,約11％-17％的查詢包括人名,約4％的Web查詢只包括人名,說明了從互聯網上獲取與個人相關信息已成為最常見的用戶行為之一。
　　 基于信

2、息檢索技術的搜索引擎為用戶提供查找與個人相關網頁的途徑,能夠將與需求相匹配的網頁鏈接返回給用戶,并且可以按照一定排名規(guī)則對網頁進行排序,但是,對于網頁中需要文本深入分析的豐富的個人信息獲取卻無能為力。為了突破搜索引擎在互聯網個人信息處理中的限制,實現對蘊含其中個人信息的獲取利用,業(yè)界和學術界開始從個人信息組織角度對互聯網個人信息進行研究。
　　 互聯網是分布式的、動態(tài)的、異構的,包含個人信息網站的內容并不一致,信息表達方式也不統

3、一,對個人信息組織并非易事。雖然,國內外學者在信息組織角度對互聯網上個人信息進行的研究取得了一定進展,仍存在許多問題有待解決。(1)個人頁面的正確識別?；ヂ摼W中與個人信息相關網頁的相同人名對應不同的人物個體,這些網頁中的個人信息屬于不同的同名人。面對同名人網頁混雜一起的現象,要對一個人的信息進行集成,首先必須將同名人網頁按照不同的人物個體區(qū)分,為進一步的信息抽取和分析做準備。(2)人物實體模式的不完備。來自不同數據源的數據在展現內容和數

4、據模式等方面存在差異,相同的人物屬性,在不同的網站表現形式是不一致的。信息的不一致給人們應用這些異構信息帶來不便。為了有助于對各數據源的有效應用,可以依據數據源間不同的表現形式和表現內容,為人物實體建立融合在一起的全面的數據模式,為進一步從新的數據源對人物實體識別、抽取和集成提供指導。(3)人物實體活動的提取。人物實體活動是存在于網頁無結構文本中的一種信息,與網頁中結構化信息提取相比,無結構化文本中信息提取更加困難,而用戶對其關注度遠遠

5、高于對結構化信息關注度,因為這些信息更能夠刻畫一個人的生活狀態(tài)、工作狀態(tài)和態(tài)度立場等。然而,這些信息都存在于無結構和半結構化的文本中,由于先天的自然語言理解困難性,要對這些信息進行梳理,實現對這些信息的有效抽取是前提。
　　 Web信息集成是面向互聯網環(huán)境,在信息集成技術基礎上發(fā)展起來的研究,目的是對不同網站間異構數據進行分析、篩選和合并,為用戶提供統一知識視圖和訪問方式,其實質就是對互聯網信息的一種重新理解和組織。本文利用We

6、b信息集成相關技術對互聯網中龐大且凌亂的個人信息重新組織進行深入研究。
　　 本文研究的目的是獲取互聯網這個公開信息源上豐富與個人相關的網頁,抽取出網頁中個人的直觀屬性和非直觀信息,建立個人信息的全貌。研究內容包括三方面,第一個內容是Web人名消歧,這是個人信息重組的基礎,只有利用網頁中人物個體的屬性特征,將包含同名人信息的網頁分類,才能降低同名不同人的人物個體網頁噪音,從中選擇出與信息重組特定人物個體最相關網頁。第二個內容是人

7、物實體的全局模式構建。Web數據源的數據模式和數據內容各不相同,人物實體全局模式的構建可以為人物實體新數據源發(fā)現、新數據源模式構建和數據提取提供指導,可以為人物實體統一視圖的建立提供依據。第三個內容是人物實體活動抽取,將網頁中個人活動組織起來,能清晰看到其生活和工作的軌跡。
　　 本文貢獻主要包括以下三個方面:(1)采用了人物特征屬性和層次凝聚聚類方法解決Web網頁人名消歧問題。提出的基于搜索引擎的通用人名消歧框架,能夠避免需要

8、巨大精力和巨大投資的新的個人信息網頁搜索工具開發(fā),可以充分利用搜索引擎的優(yōu)勢,在系統消耗很低的情況下,得到高性能的人物實體數據集。多角度人物實體特征屬性選取,突破了單一人物實體特征屬性選擇,也不同于以文本特性代替人物實體特征的方法,基于此的網頁相似度計算比基于TF/IDF和向量空間模型的計算方法更加簡便合理。(2)采用漸進式方法進行人物實體全局模式的動態(tài)構建。提出的基于人物實體結構化信息網頁進行人物實體全局模式構建的方法,即縮小了構建對

9、象范圍,又能保證足夠實體實例用于構建,給出的人物實體結構化信息網頁判定方法抓住了人物實體結構化信息的幾個關鍵特性,既能保證人物實體結構化網頁選取的準確性,又能提高選取的效率。本文提出的人物實體全局模式動態(tài)構建,突破了事先對人物實體模式進行定義,只能抽取固定屬性的限制,又避免了一次性構建人物實體全局模式的弊端,能夠及時將新的數據模式融合到全局模式中,適應數據源的動態(tài)性,從而保證全局模式的完整性。(3)采用條件隨機場模型進行人物實體活動的抽

10、取。由于自然語言處理的復雜性,人物實體非直觀信息的抽取一直是研究的難點,而人物實體活動本身又是傳統信息抽取很少考慮的一種信息類型。本文對人物實體活動的研究是對Web實體信息抽取研究的完善,給出的人物實體活動形式化定義不僅包括人物實體作為主體的活動,而且包括人物實體作為客體的活動,對人物實體生活和工作軌跡的把握更加全面。在利用條件隨機場進行活動要素標注過程中,除了常用的詞性特征,還增加了一個詞在句子中的位置特征和命名實體特征,實驗證明這兩