網絡爬蟲技術在云平臺上的研究與實現.pdf

1、隨著互聯網的不斷發(fā)展，我們獲取信息的途徑逐漸被網絡所替代，但與此同時網絡信息量以驚人的速度在增長，面對這樣海量的數據，如何快速、精確的收集到所需數據是目前研究的熱點。目前很多公司為了提高抓取效率都采用了分布式網絡爬蟲技術，使用多臺機器來并行的從互聯網上抓取網絡數據。本文設計并實現了一個構建在云平臺上的分布式網絡爬蟲系統，利用云平臺的多種特性來提高網絡爬蟲的性能以及可擴展性。
　　首先，本文針對云平臺的一些特性，以及現有的各種分布式

2、網絡爬蟲系統的局限性，提出了本文的網絡爬蟲系統的總體設計方案，并將系統按模塊劃分為控制節(jié)點模塊、爬蟲節(jié)點模塊和Web管理頁面模塊?？刂乒?jié)點主要負責URL管理以及虛擬機管理，URL管理對新抓取到的URL進行URL標準化和基于Redis的布隆過濾器去重后，將其存儲在Redis的待抓取URL隊列中；虛擬機管理是利用云平臺按需申請資源的特點來動態(tài)調節(jié)爬蟲節(jié)點數量。爬蟲節(jié)點是真正進行網頁的抓取工作，包括網頁下載、網頁解析和數據存儲，針對網頁下載設

3、計了一種哈希鏈表的DNS緩存數據結構，以提高網頁下載速度；網頁解析采用模板化功能增強其通用性；數據存儲則是將收集到的大量數據存儲在云平臺的網盤上。Web管理頁面是可視化的管理整個爬蟲系統，通過Web頁面可創(chuàng)建爬蟲任務、管理爬蟲任務和監(jiān)控爬蟲節(jié)點。
　　其次，在設計的基礎上對本文的網絡爬蟲系統進行了具體的實現。采用了Java語言來開發(fā)本系統的各個功能模塊，控制節(jié)點與爬蟲節(jié)點間的信息交互使用了Socket編程技術。網頁下載模塊使用了H

4、ttpClient組件來獲取網頁數據，并設置了多種網頁下載失敗處理措施。網頁解析模塊將正則表達式、XPath和Css Selector進行組合，以鏈式的方式抽取數據。Web管理頁面是基于Spring MVC框架和Jetty容器來實現的，使用了JSP、JavaScript、AJAX等Web編程技術。
　　再次，將本文的網絡爬蟲系統部署到實驗室的云平臺上，從功能、性能和可擴展性三個方面對其進行測試，并對測試的結果進行了分析，測試結果表