Single-Pass聚類算法的改進(jìn)及其在微博話題檢測(cè)中的應(yīng)用研究.pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)的飛速發(fā)展，微博作為一種方便快捷的交流工具越來(lái)越受到廣大用戶的喜愛。微博的即時(shí)通訊功能使得微博信息能夠迅速的擴(kuò)散，這些信息不但有很強(qiáng)的社會(huì)影響力，而且蘊(yùn)含了價(jià)值很高的信息。但是，微博的裂變性、自主性等特點(diǎn)使得文本信息量呈現(xiàn)爆發(fā)式增長(zhǎng)，從而導(dǎo)致用戶瀏覽的文本信息太多、太分散。因此，幫助人們從海量的微博信息中迅速發(fā)現(xiàn)有價(jià)值的信息，及時(shí)了解自己感興趣的話題及其發(fā)展趨勢(shì)，具有十分重要的現(xiàn)實(shí)意義和研究?jī)r(jià)值?；诖?，本文主要在以下

2、三大方面進(jìn)行了研究：
　?。?）本文首先對(duì)微博的相關(guān)概念和微博信息采集常用的兩種技術(shù)進(jìn)行介紹，通過(guò)分析基于網(wǎng)絡(luò)爬蟲的信息采集和基于API的微博數(shù)據(jù)信息采集的各自優(yōu)缺點(diǎn)，考慮到研究對(duì)象主要是微博文本的話題檢測(cè)，在研究過(guò)程中經(jīng)過(guò)對(duì)各個(gè)因素的綜合考量，最終選取后者來(lái)進(jìn)行微博信息的采集工作。
　　（2）本文在分析話題檢測(cè)整體工作過(guò)程的基礎(chǔ)上，首先通過(guò)數(shù)據(jù)預(yù)處理，過(guò)濾掉微博中大量的垃圾信息；其次通過(guò)文本表示、特征提取和特征項(xiàng)權(quán)重的計(jì)算

3、等對(duì)微博文本進(jìn)行建模，進(jìn)而對(duì)建模后生成的文本向量計(jì)算相似度；再次為了引入改進(jìn)的Single-Pass聚類算法，本文先簡(jiǎn)要敘述了四種常用的文本聚類算法，通過(guò)分析比較各自存在的優(yōu)缺點(diǎn)，對(duì)各算法進(jìn)行綜合考量來(lái)確定本文所使用的聚類方法；最后利用召回率、誤檢率這兩個(gè)常用的話題檢測(cè)評(píng)價(jià)指標(biāo)來(lái)測(cè)試改進(jìn)的Single-Pass聚類算法的性能。
　?。?）本文采用改進(jìn)的Single-Pass聚類算法進(jìn)行話題檢測(cè)并應(yīng)用到微博話題檢測(cè)系統(tǒng)當(dāng)中，顯示結(jié)果