互聯(lián)網輿情信息挖掘與群體行為分析.pdf

1、隨著互聯(lián)網的普及,國內互聯(lián)網用戶的不斷增多,網絡輿情逐漸滲透社會、經濟、政治各個層面,網絡虛擬群體業(yè)已成為推動互聯(lián)網輿情發(fā)展不可忽視的力量。因此,基于互聯(lián)網的輿情信息挖掘技術和網絡群體行為研究越來越受到廣泛關注。輿情是指一定時期內一定范圍內的社會群體對某些社會現象和現實的主觀反映。互聯(lián)網輿情信息挖掘技術作為輿情主題檢測的有效手段逐漸成為研究熱點。然而,現有的互聯(lián)網輿情信息挖掘技術在處理海量網絡信息時曝露出很多問題,在網絡群體行為分析方面

2、研究尚不成熟,因此亟需在互聯(lián)網輿情信息挖掘和群體行為分析的理論體系和技術方法上實現突破。
　　 本文利用網絡信息挖掘的方法分析了互聯(lián)網輿情信息挖掘的流程,針對網絡輿情產生、傳播的特點,對傳統(tǒng)網絡信息抓取和預處理技術進行了改進。此外根據輿情主題檢測的特點和要求對傳統(tǒng)的文本聚類算法進行了改進。基于社會網絡分析方法對網絡輿情群體的組織結構和行為規(guī)律進行了分析,并以博客圈子和論壇小組為例進行了拓撲分析和中心度分析,總結出了這兩種典型網絡

3、群體的結構和行為。最后,本文基于上述研究,進行了互聯(lián)網輿情監(jiān)控原型系統(tǒng)的架構和功能設計。主要研究內容如下:
　　 網絡信息抓取和預處理技術研究:在網絡信息抓取階段,結合互聯(lián)網輿情信息實時更新,傳播速度快的特點,本文設計了并發(fā)式增量式網絡爬蟲以滿足網絡輿情監(jiān)控系統(tǒng)對不同網頁來源的數據進行采集的需求,同時也解決了大規(guī)模網頁爬行的效率問題。在信息預處理階段,針對新聞和博客網頁、BBS網頁結構不同的特點采用了不同的凈化技術,采用HTML

4、 Parser提取新聞和博客網頁正文,根據BBS網頁高度結構化的特點設計了基于DOM樹和模板的BBS結構化信息提取,最終獲得了可用于文本聚類的純文本文檔。
　　 互聯(lián)網輿情信息挖掘算法,即文本聚類算法研究:本文改進了傳統(tǒng)的TF-IDF公式,可以對網絡信息形成的動態(tài)文本流進行特征提取,并考慮了網絡新興詞匯對特征提取的影響,給新詞賦予適當的權重提高了增量TF-IDF模型的質量。在文本聚類階段,在進行文本相似度分析時加入“時間窗”的概

5、念,大大提高了Single-pass增量聚類算法的效率,同時也降低了聚類算法對內存的消耗。
　　 基于社會網絡分析的網絡輿情群體行為研究:本文使用社會網絡分析技術對基于某一輿情主題而聚集起來的輿情群體進行組織結構分析和行為監(jiān)控,對網絡群體和虛擬組織進行了拓撲分析、中心度分析和群體分析,并使用可視化社會網絡工具繪制輿情群體網絡圖,將輿情群體的行為演變規(guī)律直觀的展示給用戶。
　　 在上述研究基礎上,本文設計了互聯(lián)網輿情監(jiān)控原