微博爬蟲的相關技術研究.pdf

1、社交媒體作為web2.0時代的標志,提供了以用戶為中心的各種交流模式和途徑。用戶在社交媒體上發(fā)表和傳播消息,關注自己感興趣的人物。社交媒體中一般擁有數以億計的人物節(jié)點,他們之間通過關注和粉絲關系連成了巨大的社會網絡,消息通過這張巨大的社會網絡傳播。大部分社交媒體提供API以便獲取社交媒體數據進行相關研究,但是由于API的相關限制造成數據獲取困難,直接造成研究無法進行。所以對于社交媒體爬蟲的相關技術研究具有重大意義。
　　本文主要以

2、國內微博媒體為研究對象,主要針對新浪微博,研究微博爬蟲的相關技術。本文研究的技術包括:爬行策略研究與實現(xiàn)、微博數據獲取研究與實現(xiàn)、微博數據去重設計等。本文工作如下:
　　首先分析微博爬蟲的主要問題。在該部分本文介紹了基于Hadoop的分布式框架技術、基于hbase的分布式數據存儲技術以及微博數據的獲取方式、去重策略和存儲策略,提出一種基于Hadoop的微博爬蟲框架,以UID和MID為主鍵的分布式No-SQL設計思路,獲取微博數據的

3、兩種主要方式的相關背景和主要流程,比較多種微博數據去重策略。
　　其次研究面向微博主題數據和個人數據獲取技術。在該部分重點介紹了基于新浪元搜索和主題相關詞的主題定位技術以及新浪微博的模擬登陸技術,分析了主題爬蟲的爬取效率。
　　最后研究微博全網數據的網絡爬蟲。分析了人物爬蟲相關框架技術和多種人物爬蟲的爬行策略,實現(xiàn)廣度優(yōu)先爬取、深度優(yōu)先爬取和UID遍歷技術的相關爬行算法,對不同的爬取策略和不同種子人物節(jié)點對微博爬蟲效率的影響