基于LDA模型與聚類的網(wǎng)絡(luò)新聞熱點(diǎn)話題發(fā)現(xiàn)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，各大新聞門戶網(wǎng)站應(yīng)運(yùn)而生，并成為了新聞媒體發(fā)布新聞和人們獲取信息的主要渠道。但由于網(wǎng)絡(luò)新聞的復(fù)雜性、冗余性、更新和傳播的快速性等，都給人們快速、準(zhǔn)確地獲取自己所需的關(guān)鍵信息帶來了困難，也不利于網(wǎng)絡(luò)輿情的監(jiān)控。因此網(wǎng)絡(luò)新聞熱點(diǎn)發(fā)現(xiàn)已成為當(dāng)下研究的熱點(diǎn)。
　　本文對(duì)傳統(tǒng)話題檢測(cè)方法進(jìn)行了研究，針對(duì)VSM模型在語(yǔ)義挖掘方面和LDA模型在預(yù)處理方法方面的不足，結(jié)合變色龍聚類算法在話題發(fā)現(xiàn)上的應(yīng)用，提出了基于時(shí)間窗

2、口的熱點(diǎn)話題發(fā)現(xiàn)方法PLDA-CHC-SP。本文的主要工作包括：
　　1）針對(duì)LDA建模時(shí)傳統(tǒng)的數(shù)據(jù)預(yù)處理方法的不足，提出了一種用TF-IDF值對(duì)文本詞語(yǔ)進(jìn)行權(quán)重過濾的改進(jìn)預(yù)處理的LDA建模方法——PLDA（Promoted Latent Dirichlet Allocation），對(duì)于提高熱點(diǎn)話題發(fā)現(xiàn)的速度和準(zhǔn)確率有一定幫助。
　　2）傳統(tǒng)的聚類算法大部分是基于VSM模型進(jìn)行文檔建模，而本文充分利用LDA模型的優(yōu)點(diǎn)以及變色

3、龍層次聚類對(duì)于話題發(fā)現(xiàn)準(zhǔn)確度較高的優(yōu)點(diǎn)，將改進(jìn)預(yù)處理后的LDA與變色龍層次聚類算法相結(jié)合，提出了一種新的每日話題發(fā)現(xiàn)方法PLDA-CHC（Promoted Latent Dirichlet Allocation with Chameleon Hierarchical Clustering），以提高每日話題發(fā)現(xiàn)的準(zhǔn)確率；并提出了一種新的話題熱度計(jì)算方法對(duì)每日話題進(jìn)行熱度量化。
　　3）對(duì)于PLDA-CHC的每日話題發(fā)現(xiàn)結(jié)果，使用了S