基于微博的突發(fā)話題檢測研究.pdf

1、微博的標語是“隨時隨地，發(fā)現(xiàn)新鮮事！”從這標語中的“隨時”和“新鮮事”，我們就能知道微博中包含了大量的突發(fā)事件，如果不能及時處理突發(fā)事件，不僅會造成謠言的滋生和蔓延，破壞網絡秩序，還會影響社會治安，不利于社會的安定團結。
　　本文分析了微博的信息特點、傳播特點和國內外的研究現(xiàn)狀，提出一種微博突發(fā)話題檢測方法。首先采用雙滑動窗口來提取突發(fā)詞和含有突發(fā)性的微博文本，然后從相對詞頻、詞頻增長率、突發(fā)詞權重三個方面來對突發(fā)詞進行篩選，確保

2、抽取到的突發(fā)詞能夠更加準確的來描述突發(fā)事件，用基于凝聚式層次聚類算法來對獲取的突發(fā)詞進行聚類，再用聚類后的突發(fā)詞集來概括表示突發(fā)事件。本文在計算權重時提出了一種結合CHI和改進的TF-IDF算法的方法，采用空間向量模型對微博文本數據進行建模，在微博文本聚類上用基于最大距離法的k-means聚類算法，最終得到突發(fā)事件的文本聚類。本文考慮到了中文詞中存在一義多詞或一詞多義的緣故，在傳統(tǒng)的TF-IDF算法上結合了詞的語義，本文提出的一種結合C

3、HI和改進的TF-IDF算法的方法在計算權重時，不僅可以降低空間向量的維度，還能減少計算的復雜度。實驗中先對本文提出的結合CHI和改進的TF-IDF算法的方法同傳統(tǒng)的TF-IDF算法和CHI統(tǒng)計法用MATLAB仿真結果做對比，再對本文提出的基于最大距離法的k-means聚類算法與傳統(tǒng)的k-means聚類算法做對比，發(fā)現(xiàn)本文提出的方法能在一定程度上提高了召回率、準確率、F值。實驗結果表明本文提出的方法可以有效檢測微博中的突發(fā)話題。