Inar——一個(gè)并行爬蟲的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Internet上信息量的迅速增長(zhǎng)，搜索引擎已經(jīng)成為人們檢索網(wǎng)上信息的主要手段，是互聯(lián)網(wǎng)上人們獲取信息最重要的方式之一。網(wǎng)絡(luò)爬蟲是搜索引擎中負(fù)責(zé)采集信息的模塊。由于Internet上信息數(shù)量大、更新和增長(zhǎng)速度快的特點(diǎn)，使得搜索引擎需要一個(gè)極為高效的網(wǎng)絡(luò)爬蟲為其采集信息，使其能夠?yàn)橛脩籼峁┤?、及時(shí)的查詢結(jié)果。為了滿足以上需要，各大搜索引擎多采用在大規(guī)模集群系統(tǒng)上并行運(yùn)行的爬蟲系統(tǒng)來抓取信息。
　　本課題研究的目的在于為Inar

2、（InformationgNavigationandRetrieval）搜索引擎設(shè)計(jì)并實(shí)現(xiàn)一個(gè)在多機(jī)上并行運(yùn)行的網(wǎng)絡(luò)爬蟲，為Inar搜索引擎在信息抓取方面提供高效的支持。探索并研究并行爬蟲體系結(jié)構(gòu)。
　　本文概要介紹了搜索引擎的發(fā)展歷史和工作原理，網(wǎng)絡(luò)爬蟲和搜索引擎的關(guān)系以及工作原理。介紹了網(wǎng)絡(luò)爬蟲涉及到的相關(guān)技術(shù)。詳細(xì)分析了Inar爬蟲的設(shè)計(jì)思想和體系結(jié)構(gòu)，分析了爬蟲各模塊的功能和作用以及實(shí)現(xiàn)策略。本文的研究?jī)?nèi)容主要包括以下幾個(gè)

3、方面：
　　(1)通過分析需求，提出Inar爬蟲的并行體系結(jié)構(gòu)。
　　(2)通過分析并行體系結(jié)構(gòu)中各個(gè)模塊需要完成的任務(wù)，給出各個(gè)模塊的設(shè)計(jì)思想和實(shí)現(xiàn)策略，實(shí)現(xiàn)了并行爬蟲。
　　(3)通過實(shí)際測(cè)試檢驗(yàn)并行爬蟲實(shí)際工作效率。
　　(4)展望未來的發(fā)展方向，分析現(xiàn)有系統(tǒng)存在的問題。
　　通過本文中設(shè)計(jì)和實(shí)驗(yàn)得到的結(jié)論，Inar并行爬蟲的設(shè)計(jì)與實(shí)現(xiàn)已經(jīng)較好地完成了預(yù)定目標(biāo)，并且正在為Inar搜索引擎提供信息抓取服