互聯網主題信息定向采集研究.pdf

1、在信息時代的大背景下,互聯網信息以超乎想象的速度迅猛增加,信息爆炸、信息過載使人們陷入了信息時代的新困境。如何在海量的互聯網信息資源中快速有效地獲取所需信息成為亟待解決的一個重要問題。與此同時,信息用戶對信息的需求正逐漸呈現出主題化、領域化、專業(yè)化和個性化的趨勢。如何滿足這些主題化的信息需求也是當前的重要課題。
　　 正是基于這樣的背景,本文首先研究和比較了當前適用于互聯網主題信息定向采集的各類理論、技術和信息采集方案,包括通用

2、引擎和垂直引擎策略、主題信息采集技術、中文自動切分詞技術、大規(guī)模文本計算技術等支撐性技術;在此基礎上提出了通用搜素引擎與垂直搜索引擎相結合的互聯網主題定向采集策略,利用基于領域的主題詞表生成和優(yōu)化方法確定主題范圍,采用文本相似度計算算法進行系統(tǒng)的文本處理。在確定了采集策略和底層技術后,即對互聯網主題定向采集系統(tǒng)進行了框架設計。
　　 本文分析和改進了采集系統(tǒng)中的三個關鍵技術,包括提出了多種防屏蔽技術相結合的網絡采集防屏蔽解決方案

3、;改進了一種基于文本密度的網頁正文抽取方法;采用了基于分詞的向量空間模型和余弦夾角公式實現了基于內容的標題去重。文中以實例介紹了采用模擬瀏覽器技術自動登錄網站的防屏蔽實現方法,改進的網頁正文抽取方法適用于新聞類網頁,是一種通用性較強、性能優(yōu)越的正文抽取算法。在網頁去重技術方面,本文主要介紹了網頁URL比對去重技術和基于內容的去重策略,并采用基于分詞的向量空間模型和余弦夾角公式實現了基于內容的標題去重,給出了其核心算法。
　　 最