面向主題的信息檢索相關(guān)技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著Internet的迅速增加，查找信息成為問(wèn)題。搜索引擎的出現(xiàn)在一定程度上解決了找信息難的問(wèn)題。但由于網(wǎng)絡(luò)信息增長(zhǎng)太快，檢索返回的結(jié)果太多，查詢的歧義性問(wèn)題，使得用戶在返回的大量信息中找到有用信息成了問(wèn)題。本文提出的面向主題的信息檢索系統(tǒng)能在一定程度上解決這種問(wèn)題。
　　面向主題的信息檢索系統(tǒng)，主要由爬行器，前向索引器，倒排索引器，檢索器，主題分類(lèi)器，相似文章聚類(lèi)器組成。與通用搜索引擎最大的區(qū)別在于檢索結(jié)果中有層次主題類(lèi)信息，相

2、似文章推薦，以及更加友好的人機(jī)交互方式等。正是這些功能使得用戶在檢索時(shí)更加主動(dòng)，獲得的信息更加豐富，并且能更加快速地找到有用信息。
　　正是如此，本文研究設(shè)計(jì)了面向主題的信息檢索系統(tǒng)。并在索引建立，帶有主題信息的檢索方法，系統(tǒng)結(jié)構(gòu)和信息可視化上有所改進(jìn)和創(chuàng)新。
　　為了主題分類(lèi)和相似文章聚類(lèi)的需要，設(shè)計(jì)了自動(dòng)獲取TermID來(lái)建立前向索引的方法和對(duì)前向索引的管理。為了高效建立索引，通過(guò)前向索引詞典信息來(lái)劃分存放倒排索引的文件

3、，實(shí)現(xiàn)Term和文件的映射。以后處理Term的信息就只需要在劃分的對(duì)應(yīng)文件中處理即可。同時(shí)，本文提出了通過(guò)兩遍文件迭代建立海量倒排索引的方法，并且在建立過(guò)程中沒(méi)有使用歸并算法，而只進(jìn)行順序鏈接即可。因而速度很快。
　　在檢索中，為了提高檢索的TopN精確率和檢索效率，本文提出了對(duì)文檔抽取摘要信息來(lái)建立小索引用于檢索。同時(shí)設(shè)計(jì)了文檔和主題類(lèi)的映射關(guān)系以及父、子主題類(lèi)的繼承關(guān)系，使得檢索時(shí)獲取文檔的主題類(lèi)信息以及判斷主題類(lèi)間的繼承關(guān)系

4、都是常數(shù)時(shí)間復(fù)雜度。進(jìn)而帶主題信息的檢索和通用檢索在檢索時(shí)間上相差不大。
　　由于用戶輸入的查詢通常比較短，使得查詢有歧義，因而返回的所有結(jié)果文檔屬于多個(gè)類(lèi)別。主題檢索系統(tǒng)返回了文檔的類(lèi)別信息，使得用戶可根據(jù)自己所找信息對(duì)應(yīng)的類(lèi)別來(lái)選擇類(lèi)別，讓系統(tǒng)只返回該類(lèi)別的文檔，進(jìn)而快速找到有用信息。使得用戶在檢索過(guò)程中更加主動(dòng)。同時(shí)，當(dāng)用戶看到一篇相關(guān)文檔后想看更多與當(dāng)前文檔相似的文檔時(shí)，系統(tǒng)的相似文章推薦就能滿足用戶的需求。提供給了用戶更