基于Sogou日志的個性化信息檢索分析與建模.pdf

1、隨著網絡的發(fā)展，網絡資源呈現突飛猛進的增長，這給WEB用戶帶來了諸多不便，搜索引擎應運而生。然而不同背景、不同目的、不同時期的用戶的信息需求往往是不同的，搜索引擎面對不同的用戶都會給出相同的檢索結果，這顯然不能很好的滿足用戶的信息需求。個性化的信息檢索技術被認為是解決該問題的重要技術。個性化信息檢索技術將根據用戶的興趣給出相應的檢索結果，可以最大限度的滿足用戶的信息需求。本文圍繞個性化信息檢索進行了以下三個方面的研究：
　　本文的

2、主要研究內容：
　　1.個性化潛力分析。對于同一個查詢詞，不同的用戶對信息的需求往往是不同的，我們將用戶的需求差異稱為查詢詞的個性化潛力。本文采用Kappa一致性檢驗衡量查詢詞的個性化潛力，并且對查詢詞的個性化潛力分布進行了分析。查詢詞的個性化潛力分布表明絕大多數查詢詞的個性化潛力較大，這也告訴人們從事個性化信息檢索研究的必要性。
　　2.實驗數據加工算法。個性化信息檢索研究面臨的一個較大的障礙是缺乏真實有效的實驗數據，針對

3、該現象，本文提出了依據Sogou日志從網絡上獲取真實的WEB數據。網絡資源雖然豐富但卻充斥著很多垃圾信息，必須將這些垃圾信息過濾掉。為此，本文對數據加工算法進行了相應的研究，提出了主動學習算法和基于Co-training的主動學習算法用于數據加工。實驗表明基于規(guī)則和邏輯回歸的Co-training算法不僅性能最優(yōu)，而且可以在很大程度上節(jié)省數據加工過程中需要的人工工作量。本文將該方法應用于WEB數據加工，并且得到了一個可以支持個性化信息檢