Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)及其在農(nóng)業(yè)領(lǐng)域的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，大量信息資源由于被存儲(chǔ)在Web數(shù)據(jù)庫(kù)中而逐漸被深化，形成海量的Deep Web資源。由于Deep Web特殊的數(shù)據(jù)提供和訪問(wèn)方式，使目前已有的通用搜索引擎難以對(duì)其進(jìn)行有效的索引，這為人們高效獲取和利用這些數(shù)據(jù)帶來(lái)了困難。Deep Web數(shù)據(jù)集成正是基于這一背景而提出的嶄新的研究課題。
　　 集成查詢接口構(gòu)建是實(shí)現(xiàn)Deep Web數(shù)據(jù)集成的重要組成部分，其中涉及眾多關(guān)鍵技術(shù)，雖然目前學(xué)者們提出了許多解決方案，

2、但總體上仍還處于探討階段，尚存在很多不足，如在Deep Web查詢接口自動(dòng)識(shí)別研究中，目前廣泛采用了基于規(guī)則的判斷方法，該方法缺乏動(dòng)態(tài)適應(yīng)性，且無(wú)法有效區(qū)分簡(jiǎn)單查詢接口和通用搜索引擎表單；在基于文本的Deep Web分類研究中，有關(guān)特征項(xiàng)的選擇目前尚無(wú)科學(xué)的量化標(biāo)準(zhǔn)，在特征項(xiàng)權(quán)重的計(jì)算上，已有方法由于沒(méi)有深入考慮特征項(xiàng)對(duì)于分類作用的差異，導(dǎo)致構(gòu)建的接口向量模型不夠準(zhǔn)確，一定程度上影響了分類精度；在查詢接口模式抽取研究中，已有工作均沒(méi)有充

3、分利用接口表單的視覺(jué)布局信息；在接口屬性間的模式匹配研究中，目前方法大多僅考查了語(yǔ)義相似度，而沒(méi)有充分利用屬性的類型、值域等其他元信息，且匹配精度還有待進(jìn)一步提高。因此，無(wú)論是從研究思路還是在研究方法上都還需要更具創(chuàng)新性的深入探討。
　　 本文對(duì)以上幾個(gè)關(guān)鍵技術(shù)展開(kāi)研究，在對(duì)國(guó)內(nèi)外已有成果進(jìn)行歸納和總結(jié)的基礎(chǔ)上，對(duì)每個(gè)問(wèn)題都進(jìn)行了深入、細(xì)致的分析，針對(duì)已有工作的不足，提出了相應(yīng)的解決方案或改進(jìn)措施，通過(guò)理論分析和一系列實(shí)驗(yàn)驗(yàn)證，

4、表明本文所提方法具有較高的準(zhǔn)確性和較強(qiáng)的可行性，有一定的實(shí)用價(jià)值。最后，以土壤數(shù)據(jù)為例，編制了土壤信息綜合查詢的Deep Web數(shù)據(jù)集成實(shí)驗(yàn)原型系統(tǒng)，探討了這些技術(shù)在農(nóng)業(yè)領(lǐng)域中的應(yīng)用。主要研究工作如下：
　　 (1)Deep Web入口自動(dòng)識(shí)別研究
　　 Deep Web入口識(shí)別是進(jìn)行Deep Web數(shù)據(jù)集成的基礎(chǔ)。不同于以往的基于規(guī)則的判定方法，本文采用機(jī)器學(xué)習(xí)的思路，提出了一種利用神經(jīng)網(wǎng)絡(luò)進(jìn)行Deep Web入口識(shí)別

5、的方法。首先綜合考慮了表單控件、控件屬性、屬性值以及部分關(guān)鍵詞等影響因子，構(gòu)建了入口自動(dòng)識(shí)別模型；接下來(lái)，利用統(tǒng)計(jì)方法明確了Deep Web入口與非Deep Web入口之間的可區(qū)分特征：最后利用神經(jīng)網(wǎng)絡(luò)的自主學(xué)習(xí)機(jī)制來(lái)自動(dòng)調(diào)整各影響因子的相關(guān)參數(shù)，避免了傳統(tǒng)的基于規(guī)則的主觀性和缺乏動(dòng)態(tài)適應(yīng)性等不足。實(shí)驗(yàn)證明了該方法的有效性，而且在簡(jiǎn)單DeepWeb入口與通用搜索引擎之間的可區(qū)分上也取得了較為滿意的效果。
　　 (2)Deep W

6、eb領(lǐng)域分類研究
　　 對(duì)Deep Web進(jìn)行領(lǐng)域分類可以實(shí)現(xiàn)對(duì)資源更有效的組織和管理。本文借鑒傳統(tǒng)的文本分類算法思想，結(jié)合Deep Web查詢接口的特點(diǎn)，提出了一種基于領(lǐng)域特征文本的Deep Web分類方法：1)給出了一種基于領(lǐng)域本體的語(yǔ)義抽象方法，對(duì)表達(dá)同一語(yǔ)義的不同詞匯進(jìn)行了概念抽象，有效增強(qiáng)了特征文本對(duì)領(lǐng)域的表征能力，同時(shí)達(dá)到了有效降維的目的；2)提出了一種“領(lǐng)域相關(guān)度”的評(píng)價(jià)方法，用于特征文本選擇的量化標(biāo)準(zhǔn)，避免了傳統(tǒng)

7、的人工選擇特征項(xiàng)所帶來(lái)的主觀性；3)在接口向量模型構(gòu)建中，對(duì)傳統(tǒng)的TFIDF方法進(jìn)行了改進(jìn)，提出了一種新的特征項(xiàng)權(quán)重計(jì)算方法W-TFIDF，更能體現(xiàn)不同特征文本對(duì)于分類所起作用的差異。實(shí)驗(yàn)證明，本文提出的特征文本選擇方法是準(zhǔn)確而有效的；相比傳統(tǒng)的TF、TFIDF方法，W-TFIDF權(quán)重計(jì)算方法更為準(zhǔn)確，能顯著提高分類精度；綜合利用本文選出的特征文本及W-TFIDF權(quán)重計(jì)算方法，能在K-NN分類算法中表現(xiàn)出較好的穩(wěn)定性。
　　 (

8、3)Deep Web接口元素與標(biāo)簽匹配研究
　　 Deep Web接口元素與標(biāo)簽匹配是查詢接口理解和模式抽取的重要前提和基礎(chǔ)。本文提出了一種基于視覺(jué)的元素-標(biāo)簽匹配方法，主要工作包括：1)提出了一種基于表格的表單重構(gòu)方法-TBIExp，能通過(guò)對(duì)查詢接口HTML源代碼的分析，自動(dòng)還原出該接口的視覺(jué)布局信息，且易于被程序處理；2)基于統(tǒng)計(jì)和觀察，較為全面地總結(jié)了表單元素及其語(yǔ)義標(biāo)簽的位置關(guān)系和視覺(jué)特征，并依此構(gòu)建了一套完整的啟發(fā)式規(guī)

9、則；3)提出了一種R3LEX匹配算法，依次進(jìn)行了基于標(biāo)記的匹配、基于語(yǔ)義的匹配和基于位置的匹配，由于考慮的匹配因子較為全面，因此算法具有較高的匹配精度。實(shí)驗(yàn)證明了所提方法的有效性。
　　 (4)Deep Web查詢接口模式抽取研究
　　 查詢接口模式抽取是后繼進(jìn)行接口屬性間模式匹配以及集成查詢接口構(gòu)建的重要基礎(chǔ)和前提。本文將接口屬性域間的關(guān)系看作是樹(shù)形結(jié)構(gòu)，并以前面提出的TBIExp表單重構(gòu)方法為基礎(chǔ)，提出

10、了一種自底向上的層次聚類方法，主要工作包括：1)全面考查了影響屬性分組的因素，提出了7條屬性分組模式，并按分組模式的影響范圍對(duì)其進(jìn)行了重要性排序，為后繼的屬性聚類提供了依據(jù)；2)提出了一種基于TBIExp的模式樹(shù)層次構(gòu)造算法-BUCluster，由于TBIExp本身已包含了查詢接口的視覺(jué)信息，因此相比以前的工作，該方法更為直觀準(zhǔn)確；3)基于查詢接口模式樹(shù)，提出了一種基于啟發(fā)式規(guī)則的屬性標(biāo)簽抽取和匹配方法-AttrLEX。實(shí)驗(yàn)表明，以上模

11、式抽取方法較已有工作的準(zhǔn)確率得到了全面提升。
　　 (5)Deep Web接口屬性間的模式匹配研究
　　 模式匹配是Deep Web數(shù)據(jù)集成中一個(gè)基礎(chǔ)而又困難的關(guān)鍵技術(shù)。本文針對(duì)在集成查詢接口構(gòu)建中各接口屬性間的模式匹配問(wèn)題進(jìn)行了研究，有效解決了屬性間1:1簡(jiǎn)單匹配和1：m復(fù)雜匹配的問(wèn)題。主要工作包括：1)提出了一種利用領(lǐng)域詞匯表和領(lǐng)域本體來(lái)對(duì)接口文本進(jìn)行規(guī)范化的方法，使語(yǔ)義相似度的計(jì)算更為科學(xué)準(zhǔn)確；2)在進(jìn)行屬性相似度

12、評(píng)價(jià)時(shí)，充分考慮了屬性元信息之間的語(yǔ)義相似度、領(lǐng)域相似度以及值域相似度，避免了傳統(tǒng)的單純利用語(yǔ)義信息或統(tǒng)計(jì)信息進(jìn)行模式匹配的不足；3)給出了對(duì)各類相似度進(jìn)行量化計(jì)算的公式和方法；4)提出了一種利用神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)屬性間1:1的模式匹配方法，有效解決了人為指定相應(yīng)參數(shù)帶來(lái)的不確定性；5)在1:1匹配結(jié)果的基礎(chǔ)上，提出了一種基于查詢接口模式樹(shù)進(jìn)行1：m匹配的方法，該方法不僅簡(jiǎn)單直觀，而且能獲得令人滿意的匹配精度。實(shí)驗(yàn)證明了以上工作的合理性和有

13、效性。
　　 (6)Deep Web集成技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用研究
　　 以全國(guó)第二次土壤普查中江津地區(qū)的土壤數(shù)據(jù)為例，編制了“江津土壤信息綜合查詢”的Deep Web數(shù)據(jù)集成實(shí)驗(yàn)原型系統(tǒng)，能針對(duì)給定的查詢條件，實(shí)現(xiàn)同時(shí)對(duì)多個(gè)Web數(shù)據(jù)庫(kù)進(jìn)行查詢的功能，一方面綜合檢驗(yàn)了本文所捉技術(shù)的合理性，另一方面探討了相關(guān)技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用問(wèn)題。
　　 綜上所述，本文系統(tǒng)地對(duì)Deep Web集成接口構(gòu)建所涉及的幾個(gè)關(guān)鍵技術(shù)展開(kāi)

14、了研究，針對(duì)目前Deep Web入口識(shí)別中基于規(guī)則方法的不足，采用機(jī)器學(xué)習(xí)的思路，提出利用神經(jīng)網(wǎng)絡(luò)進(jìn)行接口識(shí)別的方法，避免了基于規(guī)則方法缺乏動(dòng)態(tài)適應(yīng)性的不足，而且能有效區(qū)分簡(jiǎn)單查詢接口與通用搜索引擎表單；針對(duì)目前基于文本的Deep Web分類中存在的不足，定義了具體的量化標(biāo)準(zhǔn)用于領(lǐng)域特征文本的選擇，避免了人工選取帶來(lái)的主觀性和不確定性，此外，給出了一種改進(jìn)的特征項(xiàng)權(quán)重計(jì)算方法，使構(gòu)建的接口向量模型更為科學(xué)準(zhǔn)確，能顯著提高分類精度；針對(duì)目