垂直搜索引擎技術研究與應用——承乘廣緣網(wǎng)站搜索引擎的設計.pdf

1、隨著Internet的飛速發(fā)展，Web上的信息量越來越大，通用搜索引擎將面臨信息采集、存儲等方面更大的挑戰(zhàn)。此外，工作頻率不斷加快的現(xiàn)代商務人群對通用搜索頁面中的大量非目標源信息感到不滿，開始對專業(yè)領域的搜索精確性產生了強烈的需求，因此，而向專業(yè)領域的搜索引擎即垂直搜索引擎應運而生。承乘廣緣網(wǎng)絡科技有限公司針對這一需求，籌各創(chuàng)建面向商業(yè)用戶的垂直搜索引擎一一搜商網(wǎng)。
　　 本文依托該項目研究設計了搜商網(wǎng)的搜索引擎。本文分析了當前

2、Web信息檢索的模型及算法，針對搜商網(wǎng)垂直搜索引擎中的一些關鍵問題展開研究，主要包括三個核心模塊：搜商網(wǎng)的信息爬取、信息分類及信息索引。
　　 信息爬取模塊針對如今Web上頁面上噪聲較多，且相關鏈接較為集中，成塊出現(xiàn)等特點，對原有的Shark-Search算法進行了改進，具體內容包括避開廣告等與主題無關的噪聲，提高相關網(wǎng)頁塊中錨文本與主題無關鏈接的優(yōu)先級，使相關鏈接優(yōu)先爬取，并獲得更多相關鏈接。
　　 信息分類模塊提出了

3、一種簡單的階梯式一對一支持向量機文本分類器。分類算法分析了支持向量機在文本分類中的優(yōu)勢，結合支持向量機理論二分類的特點，將多類依次使用多個分類器分開，這種方法擁有模型簡單，分類準確及易于實現(xiàn)等優(yōu)點。
　　 信息索引模塊提出了一種基于中文分詞索引的倒排序索引數(shù)據(jù)庫。本文使用由正排索引結果建立倒排索引的方法建立索引數(shù)據(jù)庫，并在索引庫中使用改進的鏈表式存儲結構，減少了更新數(shù)據(jù)庫多花費的服務器開銷。
　　 最后基于以上設計，本文