基于Hadoop的分布式網(wǎng)絡爬蟲技術.pdf

1、如今我們正生活在一個信息爆炸的年代，隨著互聯(lián)網(wǎng)行業(yè)迅猛發(fā)展，這些信息每年以指數(shù)型增長，同時對于隨時隨地獲取信息的需求也與日俱增，這些需求驅動了云計算的發(fā)展。在這個大背景之下，Google、IBM、Apache和Amazon等大型公司紛紛投入大量財力去發(fā)展云計算。其中Apache開發(fā)的Hadoop平臺是一個對用戶極為友好的開源云計算框架。本文所開發(fā)的分布式爬蟲系統(tǒng)即是在此框架下設計和實現(xiàn)的。
　　本文的目的設計并實現(xiàn)一個基于Hado

2、op的分布式爬蟲系統(tǒng)，完成大規(guī)模數(shù)據(jù)采集的任務。同時，該爬蟲系統(tǒng)采集信息類型為27種語言的主流新聞網(wǎng)站。該爬蟲的采集方式為全站式信息采集，即抓取27種語言種子對應網(wǎng)站上的全部信息。另外，27種語言信息還要分別保存便于后面跨語言處理。
　　本文全部工作中研究部分包括云計算相關知識介紹、Hadoop分布式平臺相關知識介紹、網(wǎng)絡爬蟲原理和分布式爬蟲發(fā)展現(xiàn)狀調研。首先，對云計算的定義、原理和體系結構進行調研。然后，深入研究 Hadoop平

3、臺的分布式文件系統(tǒng)(HDFS)和分布式計算模型(Map/Reduce)。接著講述爬蟲系統(tǒng)的原理，了解開發(fā)一個爬蟲需要的流程。最后調研目前分布式爬蟲系統(tǒng)的發(fā)展現(xiàn)狀。
　　上面這些研究為本文提供了技術基礎，本文在此基礎上提出了基于Hadoop的分布式網(wǎng)絡爬蟲系統(tǒng)的設計方案，包括爬蟲系統(tǒng)的基本流程設計、框架設計、功能模塊劃分和各模塊的Map/Reduce設計。在概要設計的基礎之上，本文做出了系統(tǒng)的詳細設計，實現(xiàn)整個系統(tǒng)，包括數(shù)據(jù)存儲結構