復合規(guī)則驅動聚焦爬蟲系統(tǒng)的設計與實現.pdf

1、聚焦爬蟲，又稱主題爬蟲，這種爬蟲的爬行方向往往帶有很強的目的性。它會按照一定的順序采集網頁信息，力求采集到的信息都是與主題相關的信息，并且對相關度大的網頁優(yōu)先采集，相關度小的網頁不采集。
　　本項目實現了一個聚焦爬蟲系統(tǒng)，這個系統(tǒng)可以對特定范圍內的網站進行實時檢測。系統(tǒng)采用復合規(guī)則來指導爬蟲的運行方向。同時對抓取下來的內容可以通過網站的形式展現給用戶查看，用戶可以對網頁內容標記和對系統(tǒng)運行參數配置。
　　系統(tǒng)整體上分為兩個模

2、塊，網頁內容獲取模塊和顯示查詢模塊。網頁內容獲取模塊的功能是從網絡上獲取用戶需要的網頁信息并且對其進行分析和記錄。其中主要包括提取正文、網頁去重、鏈接分析、內容分析、存儲入庫和抓取調度等主要操作。系統(tǒng)通過這些模塊間的協調工作，從互聯網上抓取網頁信息并進行分析、處理，實現對主題內容網頁的聚焦抓取。顯示查詢模塊主要負責將獲取到的頁面內容展示出來給用戶查看。顯示查詢模塊使用網站的形式實現，采用SSH框架，將數據通過圖表等方式展現在頁面當中。<