基于Hadoop和Solr的海量數(shù)據(jù)處理研究與應用.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展和互聯(lián)網(wǎng)信息爆炸式的增長,海量數(shù)據(jù)處理越來越受到人們的關(guān)注。微博,作為今后互聯(lián)網(wǎng)最重要的發(fā)展方向的一個重要的代表模式之一,已經(jīng)成為了許多人最重要的溝通、營銷工具。這些活動產(chǎn)生的海量微博數(shù)據(jù)的處理和利用,成為一個熱門的研究課題,而對這些海量的微博數(shù)據(jù)最為直接應用,就是基于微博數(shù)據(jù)的搜索引擎。
　　 本文將在著重討論與研究相關(guān)的海量數(shù)據(jù)處理的同時,研究與設(shè)計一個新的微博數(shù)據(jù)搜索應用——“搜索興趣”,論文的主要工作

2、如下:
　　 首先,研究與討論了相關(guān)的海量數(shù)據(jù)處理技術(shù),主要是海量數(shù)據(jù)存儲,海量數(shù)據(jù)讀取,以及海量數(shù)據(jù)業(yè)務(wù)處理等技術(shù),而支撐這些技術(shù)的主要是Google的三大核心技術(shù):BigTable,GFS分布式文件系統(tǒng),MapReduce分布式編程模型。
　　 其次,本文研究與討論了基于Google三大核心技術(shù)原理而實現(xiàn)的一個優(yōu)秀的開源項目:Hadoop項目,主要涉及到了相關(guān)的Hadoop MapReduce架構(gòu),Hbase文件存儲

3、,HDFS分布式文件系統(tǒng);同時,研究與討論了Solr搜索引擎,主要對Lucene搜索工具包、Solr的發(fā)展歷史、特性以及體系結(jié)構(gòu)等進行了深入研究。
　　 最后,提出了一個Hadoop與Solr相結(jié)合的體系結(jié)構(gòu),利用Hadoop的分布式結(jié)構(gòu)和預先分詞技術(shù)對Solr搜索引擎的索引生成進行了高效的優(yōu)化;同時,提出一個基于微博興趣搜索的排名算法,包括針對微博內(nèi)容、用戶信息的權(quán)值模型和采用語義樹進行語義擴展等,最終實現(xiàn)了基于微博內(nèi)容搜索相