文本分類技術(shù)在短信過(guò)濾中的應(yīng)用.pdf

1、手機(jī)短信因具有移動(dòng)性好、收發(fā)便捷、價(jià)格低廉和娛樂(lè)性強(qiáng)等特點(diǎn)而成為人們所喜愛(ài)的一種通信方式。但垃圾短信問(wèn)題也日益嚴(yán)峻，受到社會(huì)的廣泛關(guān)注。將文本分類技術(shù)應(yīng)用于短信過(guò)濾是解決垃圾短信問(wèn)題的主要技術(shù)之一。 首先，對(duì)垃圾短信過(guò)濾問(wèn)題的研究現(xiàn)狀，包括垃圾短信的定義、產(chǎn)生機(jī)理、危害以及常用的垃圾短信過(guò)濾方法作了簡(jiǎn)單介紹。 其次，對(duì)文本分類中涉及到的關(guān)鍵技術(shù)，包括文本預(yù)處理、文本表示模型、特征權(quán)重計(jì)算方法、特征降維方式、分類算法和分類

2、結(jié)果評(píng)估方法等，分別進(jìn)行了研究、探討和必要的實(shí)驗(yàn)。 再次，重點(diǎn)介紹了貝葉斯分類算法，包括貝葉斯算法的兩種模型以及基于最小風(fēng)險(xiǎn)的貝葉斯算法，分析了傳統(tǒng)貝葉斯算法在短信過(guò)濾中存在的局限性，并在此基礎(chǔ)上，采用了基于最小風(fēng)險(xiǎn)的貝葉斯短信過(guò)濾算法。 最后，在目前尚無(wú)一個(gè)公開(kāi)規(guī)范的短信語(yǔ)料庫(kù)的條件下，建立了一個(gè)真實(shí)的、能夠適應(yīng)實(shí)驗(yàn)要求的中文短信語(yǔ)料庫(kù)；在比較分析分類算法、權(quán)重計(jì)算方法、特征選擇算法的實(shí)驗(yàn)結(jié)果的基礎(chǔ)上，實(shí)現(xiàn)了基于最小風(fēng)