Web信息內(nèi)容及其特征提取方法研究.pdf

1、隨著Internet的迅速發(fā)展，Web信息已經(jīng)成為人們生活和工作中重要的信息來(lái)源。然而Web信息的濫用也成為互聯(lián)網(wǎng)領(lǐng)域的一大難題，比如，不法分子通過(guò)BBS、專欄、電子郵件等進(jìn)行反動(dòng)宣傳、詐騙、恐怖威脅、傳播色情、病毒等網(wǎng)絡(luò)犯罪現(xiàn)象日益嚴(yán)重；遠(yuǎn)程教育中，抄襲作業(yè)的現(xiàn)象為教學(xué)管理帶來(lái)了嚴(yán)峻的挑戰(zhàn)。這就需要找出這些Web信息的發(fā)布源并予以處置。然而這些Web信息的發(fā)布者總是試圖隱藏其真實(shí)身份以逃避偵察，所以通過(guò)發(fā)布信息者的名稱、IP地址、郵件

2、頭等信息找出Web信息發(fā)布源是一件很困難的事情。如何同一認(rèn)定Web信息發(fā)布源已經(jīng)成為當(dāng)前亟需解決的問(wèn)題。 在Web信息發(fā)布源同一認(rèn)定的研究中，Web信息內(nèi)容及其特征提取是作者身份識(shí)別過(guò)程中的基礎(chǔ)問(wèn)題。因?yàn)槿魏嗡惴ê图夹g(shù)都是以特征為基礎(chǔ)來(lái)進(jìn)行分類或判斷的，特征提取的正確與否、質(zhì)量高低直接影響到分類識(shí)別的精度。而內(nèi)容提取的準(zhǔn)確與否在一定程度上也影響了特征提取的效率。所以本文的研究目的就是以中文Web信息文本為研究對(duì)象，分析研究Web

3、信息的內(nèi)容及其特征提取方法，為Web信息發(fā)布源同一認(rèn)定的研究奠定基礎(chǔ)，最終達(dá)到識(shí)別Web信息作者真實(shí)身份的目的，為計(jì)算機(jī)取證提供依據(jù)，追究Web信息作者的責(zé)任，具有重要的應(yīng)用價(jià)值和現(xiàn)實(shí)意義。 迄今為止，大部分相關(guān)研究主要集中在文本分類，但是由于Web信息文本與普通文本在形式和語(yǔ)言表達(dá)及文本篇幅長(zhǎng)短上的差異，文本分類的特征不太適合Web信息特征的選擇。國(guó)外針對(duì)作者同一認(rèn)定的研究已有初步的研究成果報(bào)道，但是由于中文和外文的差異，其理

4、論和方法對(duì)于中文Web信息不太適合。國(guó)內(nèi)針對(duì)中文電子郵件作者的身份特征研究已有開(kāi)展，但是郵件的特征還不能完全應(yīng)用于其它類型的Web信息，并且針對(duì)各類形式Web信息特征的提取，還沒(méi)有一個(gè)統(tǒng)一的解決方案.所以在這一領(lǐng)域還存在許多需要解決的問(wèn)題。 本文首先對(duì)Web信息發(fā)布源同一認(rèn)定研究領(lǐng)域的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了論述，探討了現(xiàn)有的研究技術(shù)和方法；在詳細(xì)分析Web信息格式及內(nèi)容的基礎(chǔ)上，根據(jù)HTML頁(yè)面與電子郵件在格式結(jié)構(gòu)上的差異，分別探

5、討了HTML頁(yè)面和電子郵件的內(nèi)容提取技術(shù)。對(duì)Web頁(yè)面主題文本的提取，郵件信息提取，郵件內(nèi)容解碼等方法進(jìn)行了研究；給出了利用結(jié)點(diǎn)主題相關(guān)性判定Web頁(yè)面主題內(nèi)容的方法，以及過(guò)濾郵件中回復(fù)行和廣告行內(nèi)容的方法。 針對(duì)中文Web信息，在分析和比較了Web信息文本與普通文本區(qū)別的基礎(chǔ)上，借鑒已有研究成果，給出了可用于中文Web信息的特征模型，詳細(xì)地分析了中文Web信息作者的寫作特征，包括語(yǔ)言特征、詞匯特征、結(jié)構(gòu)特征以及格式特征等，并對(duì)

6、各類特征的提取方法進(jìn)行了研究；針對(duì)語(yǔ)言特征中潛在特征詞的提取問(wèn)題，給出了利用關(guān)聯(lián)規(guī)則提取文本中的潛在特征詞的方法，在一定程度上克服了分詞程序的缺陷；在文本分類知識(shí)的基礎(chǔ)上，借鑒已有研究成果，給出了中文Web信息特征表示方法、特征選擇方法和特征權(quán)重的計(jì)算模型，明確各項(xiàng)特征在Web信息發(fā)布源同一認(rèn)定中的重要性以及相互關(guān)系。 為了驗(yàn)證所給出的模型和方法的正確性和可行性，本研究對(duì)HTML頁(yè)面內(nèi)容提取，電子郵件內(nèi)容提取，以及Web信息特征