基于關鍵詞的微博爬蟲系統(tǒng)的設計與實現(xiàn).pdf

1、隨著社交網絡媒體的興起，其中微博已然成為了大眾關注熱點話題的工具之一。在微博當中，人人都可以發(fā)出自己的聲音，也可以聽到別人不同的聲音，因此形成了巨大的信息量、信息碎片化的特點。這個爬蟲系統(tǒng)是為了能夠更好地服務大眾，使得個人、公司、企業(yè)都能及時地發(fā)覺到自己關注的話題，然后做出及時的反饋，避免一些不必要的損失。
　　本文設計的爬蟲針對于微博，主要對需求相關關鍵詞展開搜索，在此搜索結果中，進行廣度優(yōu)先的爬取策略，此爬蟲系統(tǒng)能解決傳統(tǒng)爬蟲

2、無法解決的垂直爬取、動態(tài)頁面和自動化登陸問題。
　　本文針對了微博的問題，從而設計并且實現(xiàn)了一種面向微博的數據爬取與解析系統(tǒng)。主要工作是主要利用提供的關鍵詞，對微博中已經發(fā)布的微博條目進行爬取，并抽取出博主信息、微博內容、粉絲數目、評論數目等等數據，存入數據庫中。主要工作有：
　　1、模擬登陸，本系統(tǒng)能夠通過訪問微博登陸頁，而不是微博的首頁，登陸信息是通過Base64加密后發(fā)送給服務器，獲取cookie后，能夠實現(xiàn)自動登陸。

3、
　　2、信息的收集和過濾，本系統(tǒng)采用基于關鍵詞的網絡爬蟲訪問微博進行信息的收集，獲取微博網站的主要頁面，在頁面上獲取內容，已經被系統(tǒng)爬取的網頁會被過濾。
　　3、關鍵內容抽取，本系統(tǒng)主要采用基于 JSoup框架和 XPath相結合的方法對基于HTML結構頁面進行解析，針對爬取模塊下載得到的微博網頁抽取關鍵信息。
　　4、數據更新和存儲，采用固定的爬取周期對微博源網頁信息進行持續(xù)更新；采用MySQL對爬蟲系統(tǒng)抽取的信息