基于微博的網絡輿情關鍵技術的研究與實現.pdf

1、現代社會的快節(jié)奏正日益改變著人們了解、觀察世界和發(fā)表看法的方式，傳統(tǒng)媒介所發(fā)揮的作用已經越來越小，新興的方式正在萌發(fā)并日益壯大。微博適應了這種簡單、快捷的生活潮流，正日益成為向網民展示世界和匯聚民意的重要渠道，并或多或少的改變著社會的運轉方式。所以，整體了解微博的民意訴求顯得至關重要，將為政府和企業(yè)決策提供寶貴的資料。目前，網絡輿情的研究已經有成熟的技術，但基于微博的網絡輿情研究才剛剛起步，微博具有短小精悍、草根性更強、交互方式多種多樣

2、和高時效性的特點，這些決定了原有輿情技術已經不能滿足微博研究的需要了，對此需要做出改進和調整。
　　本文結合微博的特點，著力解決輿情研究中的各個問題，使之適應微博網絡輿情研究的需要。網絡輿情的關鍵技術主要包括網絡爬蟲技術、網頁結構化技術、分詞技術以及分類聚類等文本處理技術。本文主要對這些技術做出改進，來適應微博的特點，最終發(fā)掘微博熱點話題以及人們的情感傾向。
　　當今網絡爬蟲技術業(yè)已成熟，網上也存在大量的免費爬蟲系統(tǒng)。目前，

3、互聯網企業(yè)為了保證微博的正常訪問，做了很多反爬蟲措施，同時微博頁面具有雜亂無章的特點，本文針對這些反爬蟲措施，基于larbin爬蟲系統(tǒng)，提出定時爬取和代理爬取，并對頁面解析采用DOM樹和投票算法。
　　本文針對的是中文微博，所以將重點研究中文分詞。中文分詞技術主要有詞典建立、歧義識別和新詞識別三個方面。針對微博數據量大、雜、新詞不斷涌現的特點，本文提出使用基于單字索引的pat樹分詞詞典，加快分詞速度，并提出雙字耦合和t-測試差相結