基于RSS的新聞采集系統(tǒng)的研究與應用.pdf

1、基于RSS的新聞采集是信息采集領域內一個新興而有實用價值的方向。RSS技術作為互聯(lián)網(wǎng)上的最新技術之一，已被廣泛接受和應用，豐富的RSS站點資源正影響著互聯(lián)網(wǎng)內容的瀏覽利用，它通過XML標準定義內容的包裝和發(fā)布格式，使穩(wěn)定、高效、實時、安全、低成本的新聞發(fā)布、接收和使用成為可能。論文在對RSS技術進行了深入研究的基礎上，針對企業(yè)信息門戶中的新聞來源多樣化、新聞采集自動化、時效性強等需求，提出了基于RSS的新聞采集系統(tǒng)的設計思路，并介紹了系

2、統(tǒng)的功能實現(xiàn)。 根據(jù)在新聞采集領域的長期研究以及國內外在新聞采集領域的發(fā)展，本文在綜述了基本情況后，分析了現(xiàn)有新聞采集系統(tǒng)的現(xiàn)狀和不足，提出了一個基于RSS的新聞采集結構模型，這包括RSS Feed解析、Web頁面解析、鏈接的提取及處理、任務控制等一系列算法和步驟，分別給出了相關的處理算法和流程。針對研究過程中遇到的問題，提出了多個新的算法和規(guī)律： ①在分析了RSS和XML語法的基礎上，給出了對RSS Feed中新聞鏈接

3、、標題、摘要等信息的提取算法； ②對RSS Feed頁面中各種鏈接進行了分析，給出了鏈接處理方法和提取流程； ③對信息采集技術進行研究，設計了利用網(wǎng)頁特征值進行定位的新聞內容提取策略； ④在對各大新聞網(wǎng)站進行了研究分析的基礎上，總結出了新聞內容在頁面中的分布規(guī)律，確定了新聞網(wǎng)頁定位的特征參數(shù)； ⑤在新聞采集控制過程中，利用多線程技術，設計了并行采集策略。 試驗結果顯示，在采集系統(tǒng)中利用RSS技術，