中文微博文本聚類與話題檢測的研究.pdf

1、Web2.0技術獲得發(fā)展以來，微博這一社會網(wǎng)絡新媒體獲得了快速發(fā)展，一方面微博提供大量的可用數(shù)據(jù)，另一方面大量數(shù)據(jù)產生的同時也造成了數(shù)據(jù)分析的災難。如何將微博數(shù)據(jù)按照人的理解迅速劃分出有意義的類別，并進一步呈現(xiàn)出感興趣的內容，成為微博平臺下一個新的重要研究方向。由于微博文本短小，用戶復雜等特性，傳統(tǒng)的分析方法沒有達到令人滿意的效果。
　　本文所研究的中文微博文本聚類與話題檢測主要包括三方面：數(shù)據(jù)預處理，微博的聚類，話題檢測。論文的

2、主要工作包括：
　　數(shù)據(jù)預處理方面，立足于對前人研究成果的歸納總結，首先采用了基于“長尾現(xiàn)象”的數(shù)據(jù)粗過濾機制來解決由于存在大量的噪聲數(shù)據(jù)，導致的處理效率不高的問題；其次提出了“去除停用詞”和基于知網(wǎng)語義關聯(lián)擴展相結合的方法，該組合方法既保證去除弱表達詞語，又改善了因數(shù)據(jù)模型和微博文本特性所導致的數(shù)據(jù)稀疏性問題和語義不完整問題。
　　微博聚類方面，本文主要以K-means算法作為基礎算法，根據(jù)微博數(shù)據(jù)的稀疏性特點提出了一種自

3、動確定初始值的K-means算法。該算法有效解決了K-means算法初始值選擇的問題，并保證了聚簇的高內聚性。最后在K-means聚類結果的基礎上，本文應用閾值融合算法，對聚簇區(qū)域進行合并，提高了聚簇間的相異性，達到高質量的聚類效果。
　　話題檢測部分，承接前文改進的聚類算法，本文在最后通過分析用戶打分算法，將其改造并移植到聚類算法內，實現(xiàn)了最終的微博話題檢測算法。通過這種方法可以在話題檢測中引入用戶對話題關注程度以及參與程度等信