Deep Web數(shù)據(jù)獲取問題研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，Web成為一個擁有海量數(shù)據(jù)的信息源。DeepWeb主要由Web中可在線訪問的數(shù)據(jù)庫構(gòu)成，信息更豐富、主題性更強、結(jié)構(gòu)化更好。隨著分析型應(yīng)用如市場情報分析、輿情分析、電子商務(wù)等需求的增長，亟需對Deep Web數(shù)據(jù)進行集成，從中分析挖掘有用知識。但由于DeepWeb具有大規(guī)模性、數(shù)據(jù)海量性、實時動態(tài)變化、異構(gòu)性以及分布性等特點，并且Deep Web數(shù)據(jù)只能通過向Web數(shù)據(jù)庫的查詢接口提交查詢這一特殊方式獲取，使得如何

2、自動地從Deep Web數(shù)據(jù)源獲取數(shù)據(jù)成為一項十分具有挑戰(zhàn)性的工作。
　　 作為集成工作的第一步，Deep Web數(shù)據(jù)獲取為Deep Web數(shù)據(jù)集成奠定數(shù)據(jù)基礎(chǔ)，是數(shù)據(jù)抽取和數(shù)據(jù)整合工作的前提。目前，Deep Web數(shù)據(jù)獲取工作主要存在以下問題有待解決：(1)Deep Web網(wǎng)站的增長速度快、時刻動態(tài)變化，而分析挖掘需要全面的數(shù)據(jù)，因此面向分析的Deep Web數(shù)據(jù)獲取需要自動發(fā)現(xiàn)盡可能多的Deep Web數(shù)據(jù)源。(2)Deep

3、 Web數(shù)據(jù)源質(zhì)量良莠不齊、爬取過程繁雜并且爬取周期長，為了合理分配資源需要擇優(yōu)汰劣，分析挖掘需求要求對已發(fā)現(xiàn)的數(shù)據(jù)源進行評估，選擇優(yōu)質(zhì)數(shù)據(jù)源以獲得更多更全面的信息。(3)Deep Web數(shù)據(jù)源中的數(shù)據(jù)眾多，數(shù)據(jù)爬取過程中提交不同的查詢詞返回的結(jié)果集合存在大量的數(shù)據(jù)重疊，為了全面高效獲取Deep Web數(shù)據(jù)源中的數(shù)據(jù)，需要對提交的查詢詞進行選擇。
　　 本文以面向分析的Deep Web數(shù)據(jù)獲取為目標，對Deep Web查詢接口判

4、定、Deep Web數(shù)據(jù)源采樣、評估以及Deep Web數(shù)據(jù)爬取等多個具有挑戰(zhàn)性的實際問題進行了系統(tǒng)和深入地研究，主要工作與貢獻概括如下：
　　 1.提出了一種基于集成學習的Deep Web查詢接口判定方法，有效解決了大量Web頁面中Deep Web查詢接口識別問題，能夠準確地將Deep Web查詢接口與搜索引擎的查詢接口區(qū)別開來，提高了Deep Web查詢接口識別的準確率。
　　 本文提出了一種使用決策樹以及SVM進行

5、集成學習的方法建立DeepWeb查詢接口判定模型，達到更有效地識別Deep Web查詢接口的目的。一方面針對Deep Web查詢接口頁面進行分析，提出了判斷頁面中是否含有查詢接口的6條規(guī)則，利用簡單高效的決策樹對頁面進行分類；另一方面針對Deep Web查詢接口與搜索引擎的查詢接口提交查詢后獲得的結(jié)果頁面進行分析，主要利用結(jié)果頁面的特征訓練SVM對頁面進行分類，采用重抽樣思想得到訓練數(shù)據(jù)集，有效減弱類別不平衡性對學習算法的影響；最后基于

6、投票的方式對決策樹和多個SVM進行集成。該方法可以將Web數(shù)據(jù)庫的查詢接口與搜索引擎的查詢接口有效地區(qū)別開來，達到更準確地識別Deep Web查詢接口的目的。實驗表明該方法具有良好的可行性和運行效率，與使用簡單機器學習的識別算法相比可以獲得更高的查全率和查準率。
　　 2.在隨機漫步算法的基礎(chǔ)上，提出了一種基于關(guān)鍵詞選擇模型的DeepWeb數(shù)據(jù)源采樣方法，有效地從Deep Web數(shù)據(jù)源中獲得近似隨機的高質(zhì)量樣本，以供Deep W

7、eb數(shù)據(jù)源評估使用。
　　 本文提出了一種針對關(guān)鍵詞屬性擴展隨機漫步算法的Deep Web數(shù)據(jù)源采樣方法，使采樣過程不受查詢接口中屬性表達形式的限制。采樣過程中，對于關(guān)鍵詞屬性構(gòu)建選擇模型，從目前的樣本集中按照出現(xiàn)頻率降序選擇該屬性的一個值，將其遞交給查詢接口；對于分類屬性和范圍屬性采用隨機漫步算法策略。該方法有效地從。Deep Web數(shù)據(jù)源中獲得近似隨機的高質(zhì)量樣本，通過樣本可以了解該數(shù)據(jù)源的領(lǐng)域相關(guān)性、準確性、完整性、數(shù)據(jù)規(guī)

8、模等有用的特征，以供Deep Web數(shù)據(jù)源評估和選擇使用。
　　 3.提出了一種基于多目標決策理論的Deep Web數(shù)據(jù)源質(zhì)量量化評估方法，有效解決了同一領(lǐng)域大規(guī)模Deep Web數(shù)據(jù)源質(zhì)量評估問題。
　　 本文提出基于多目標決策理論的Deep Web數(shù)據(jù)源質(zhì)量量化評估方法，通過建立Deep Web數(shù)據(jù)源質(zhì)量評估模型，對每一個Deep Web數(shù)據(jù)源進行量化評分，將評估問題映射到多目標決策領(lǐng)域進行求解，對Deep Web數(shù)

9、據(jù)源排序，以選擇優(yōu)質(zhì)數(shù)據(jù)源。針對分析型應(yīng)用對Deep Web數(shù)據(jù)集成的需求，提出了Deep Web數(shù)據(jù)源質(zhì)量評估體系，利用已獲得的數(shù)據(jù)樣本，從Web數(shù)據(jù)源質(zhì)量、查詢接口及結(jié)果返回質(zhì)量、數(shù)據(jù)質(zhì)量以及用戶評價等4個維度對16個質(zhì)量評估因素進行量化評分，將評分結(jié)果映射為多目標決策問題求解，對各質(zhì)量評估因素計算權(quán)重，最終獲得每一個Deep Web數(shù)據(jù)源的總評估值進而對Deep Web數(shù)據(jù)源排序，選擇優(yōu)質(zhì)數(shù)據(jù)源，盡可能減少需要爬取的DeepWeb

10、數(shù)據(jù)源的數(shù)量。
　　 4.提出一種基于屬性高頻字覆蓋率圖模型的Deep Web數(shù)據(jù)爬取方法，有效解決了中文環(huán)境中的Deep Web數(shù)據(jù)頁面的大規(guī)模獲取問題。
　　 本文提出一種基于屬性高頻字覆蓋率圖模型的Deep Web數(shù)據(jù)爬取方法。該方法針對某一特定領(lǐng)域統(tǒng)計漢字字頻，獲取一個面向領(lǐng)域的屬性高頻字列表；構(gòu)建屬性高頻字覆蓋率圖模型用于估算候選漢字的新數(shù)據(jù)獲取率，以較少次的數(shù)據(jù)庫查詢獲得盡可能高的數(shù)據(jù)覆蓋。該方法有效解決了中