基于Lucene的站內搜索引擎技術的研究與應用.pdf

1、隨著互聯(lián)網(wǎng)技術的快速發(fā)展，網(wǎng)絡上的信息資源正以驚人的速度增長。
　　 出于信息化建設的需要，大量企事業(yè)單位都建立了自己的網(wǎng)站，以便向人們提供信息服務，以提高企業(yè)的知名度和服務質量。隨著時間的推移，許多網(wǎng)站中存儲了大量的信息，但是，相當多的網(wǎng)站沒有自己的站內搜索引擎系統(tǒng)，這就有可能造成用戶無法快速找到自己感興趣的信息。
　　 盡管一些大型的web搜索引擎也向用戶提供站內檢索的功能。例如Google、百度、雅虎都向‘Web站

2、點提供了支持站內搜索的機制。但是由于Web搜索引擎收錄的Web頁面只占因特網(wǎng)中可收錄頁面的三分之一左右，同時Web搜索引擎通常是經(jīng)過一個固定的周期才刷新其收錄的頁面，這必然導致采用Web搜索引擎作為其站內搜索引擎的站點，其搜索結果質量差、不精確、更新慢、不能及時顯示站內信息。因此，對于這些沒有提供站內信息檢索系統(tǒng)的網(wǎng)站，建立自己的站內信息檢索系統(tǒng)成為了當務之急。
　　 在對搜索引擎系統(tǒng)、全文檢索技術和Lucene開源工具包進行了

3、深入研究的基礎上，本文設計并實現(xiàn)了一個基于工Lucene的站內搜索引擎系統(tǒng)。文中詳細介紹了站內搜索引擎系統(tǒng)的需求分析、系統(tǒng)的整體組織架構、系統(tǒng)實現(xiàn)的開發(fā)工具以及系統(tǒng)各個功能模塊的詳細設計和具體實現(xiàn)．該系統(tǒng)包括四個功能模塊--信息采集模塊、構建索引模塊、搜索模塊和人機交互界面模塊。信息采集模塊是搜索引擎的核心組成部分，其作用是用來采集指定站點的文檔信息，以便索引模塊建立索引；信息采集功能通過網(wǎng)絡爬蟲(crawler)按照一定規(guī)則編碼web

4、站點，并將訪問到的信息資源下載到本地服務器。網(wǎng)絡爬蟲的性能在一定程度上決定了搜索引擎系統(tǒng)的搜索效果、信息是否及時更新、內容是否豐富等。本文設計了一個多線程網(wǎng)絡爬蟲，用于系統(tǒng)信息的采集。構建索引是搜索引擎的重要環(huán)節(jié)，索引質量的好壞決定了搜索結果的質量和搜索的效果；本文以Lucene為基礎設計了一個可以索引HTML、Word、Excel、Powerpoint等多種格式數(shù)據(jù)源的索引框架，并詳細分析了構建索引的流程、文檔解析的流程。當索引文件建