中文網(wǎng)頁層次分類研究.pdf

1、隨著互聯(lián)網(wǎng)在中國的迅速普及，現(xiàn)在每天中文網(wǎng)頁都在以數(shù)以萬記的速度增加，這無疑帶來了巨量信息。那么面對如此龐大的信息，迫切需要解決的問題是如何管理和利用這些信息資源。為了有效地組織和檢索網(wǎng)頁資源，必須對網(wǎng)頁進(jìn)行合理分類。近年來，網(wǎng)頁分類已成為信息領(lǐng)域的研究熱點之一。如何針對中文網(wǎng)頁的結(jié)構(gòu)特點，將中文語言處理技術(shù)與文本分類技術(shù)更好的運用在中文網(wǎng)頁分類上是一項很有意義的富有挑戰(zhàn)性的研究課題。 傳統(tǒng)的中文文本分類技術(shù)中大多數(shù)使用中文切詞

2、系統(tǒng)對文本進(jìn)行預(yù)處理，切詞系統(tǒng)對于人名，地名，網(wǎng)頁中的新詞及中英文混用詞識別能力較差。本文在討論文本分類關(guān)鍵技術(shù)的同時，提出了一種序列數(shù)據(jù)挖掘方法來替代現(xiàn)有的切詞系統(tǒng)。將每篇文本看作一系列以字為基本單位的字符串，用改進(jìn)的PAT樹技術(shù)為文本創(chuàng)建一個樹存儲結(jié)構(gòu)，然后結(jié)合凈頻率計算方法挖掘出頻繁出現(xiàn)的字串作為候選特征。實驗表明，序列挖掘方法能從中文網(wǎng)頁中更好地識別出人名地名，網(wǎng)頁中出現(xiàn)的新詞，以及常用動名詞詞組，名詞詞組等。 面對海量

3、的互聯(lián)網(wǎng)信息，需要更多的類別來管理，單層的類別顯得孤立，雜亂，龐大。具有層次結(jié)構(gòu)的多層分類顯然要比單層分類能更有效地管理文本。層次分類方法與單層分類方法相比，有自己的特點和技術(shù)問題。目前，國內(nèi)外對層次分類方法的探討還不是很深入。本文在研究國內(nèi)外層次分類方法的同時，提出了一些解決層次分類問題的可能方法，并構(gòu)造了一個自己的層次分類模型。 最后，本文結(jié)合前面所提出的技術(shù)設(shè)計實現(xiàn)了一個基于序列挖掘方法的中文網(wǎng)頁分類系統(tǒng)。實驗表明，應(yīng)用序