基于MPI的分布式搜索引擎系統(tǒng)研究.pdf

1、伴隨著互聯(lián)網(wǎng)的普及和網(wǎng)絡(luò)信息的爆炸式增長(zhǎng)，人們查閱資料己不是依靠有限范圍內(nèi)的網(wǎng)站來尋找，而是依靠搜索引擎對(duì)信息海洋中的海量數(shù)據(jù)進(jìn)行訪問了。搜索引擎技術(shù)已經(jīng)成為互聯(lián)網(wǎng)發(fā)展必不可少的核心技術(shù)，它的作用越來越重要。然而現(xiàn)有的搜索引擎大多是集中式的，已經(jīng)不能很好地適應(yīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展，分布式技術(shù)是下一代搜索引擎的發(fā)展趨勢(shì)。
　　 本文在分析傳統(tǒng)搜索引擎技術(shù)不足的基礎(chǔ)上，提出一種基于MPI(Message PassingInterface

2、)的分布式搜索引擎系統(tǒng)。該系統(tǒng)主要由并行網(wǎng)頁(yè)抓取和分布式建立索引兩部分組成。首先，詳細(xì)介紹了網(wǎng)頁(yè)并行抓取的設(shè)計(jì)和實(shí)現(xiàn)，包括它的系統(tǒng)框架、主要模塊、運(yùn)行流程和URL調(diào)度算法。URL調(diào)度算法采用散列計(jì)算，不僅實(shí)現(xiàn)了負(fù)載平衡，而且在一定程度上避免了沖突。然后，通過分析索引數(shù)據(jù)庫(kù)在搜索引擎時(shí)效性及有效性方面的重要作用，提出一種多進(jìn)程并行分詞建立索引的方法。該方法以中文網(wǎng)頁(yè)數(shù)據(jù)庫(kù)為基本語料庫(kù)，采用正向最大匹配法進(jìn)行中文分詞，并用一種高效的倒排索引