基于多詞共現(xiàn)與互信息的文本自動摘要技術研究.pdf

1、文本自動處理作為一種提取文本中重要信息的基礎性工具，在人們的工作學習生活中充當著重要的角色。文本自動處理就是利用計算機自動的從文檔中提取重要信息生成反映某一文獻中心內容的短文的過程，短文中包括原文的核心內容或用戶感興趣的內容，可以加快信息傳播效率、提高信息檢索速度。因此，如何快速準確實現(xiàn)文本自動的提取已成為近年來人們研究的熱點。本文研究了基于詞共現(xiàn)與互信息的文本自動處理技術，將詞共現(xiàn)技術應用于文本核心詞提取，利用互信息計算進行文本特征量

2、化及主題句提取，有效提高了文本提取的準確率。
　　本研究主要內容包括：⑴為了提高文本核心詞提取的準確度，本課題分析了文本中的詞共現(xiàn)現(xiàn)象，通過計算詞語之間共現(xiàn)度確定了文本中共現(xiàn)詞與主題表達之間存在的具體對應關系，并將詞共現(xiàn)計算技術應用于文本核心詞提取，優(yōu)化了文本核心詞提取算法。實驗證明核心詞提取的準確度平均提高了6.5％。⑵為了提高文本主題劃分的準確度，使文本處理盡可能全面反映文本的中心思想，本課題將互信息技術引入到文本的關聯(lián)度計算

3、，通過計算文本中詞與詞、句子與句子、段落與段落之間的互信息值量化文本段落之間的關聯(lián)度，依據(jù)文本段落間關聯(lián)度將文本劃分成隸屬于不同主題的若干個塊，實現(xiàn)了對文本主題的合理劃分。實驗證明文本主題劃分的準確度平均提高了10%。⑶為了提高語句提取的準確率，本課題通過引入七個關鍵要素（句子的重要性、句子中包含詞匯的重要性、核心詞的重要性、句子在文檔中出現(xiàn)的位置、句子中是否含有線索詞、句子長度及句子之間存在的關聯(lián)關系）對句子的重要程度進行量化并賦予重