基于主題模型的新聞標題分類方法研究.pdf

1、大數據時代的到來，給很多傳統(tǒng)的行業(yè)帶來了前所未有的沖擊和挑戰(zhàn)，新聞行業(yè)也是如此。大數據與傳統(tǒng)新聞行業(yè)在相互融合的過程中衍生出來一種新的新聞形式，它通過利用自然語言處理領域的知識，使用一些技術手段，通過可視化的方式向公眾展示出來?；ヂ摼W中每天都產生海量的新聞，當我們想搜集各種新聞并從中挖掘有用信息時，新聞分類是必須做的基礎工作之一。
　　在如今“數據驅動新聞”的背景下，網絡新聞自動分類已經成為當下研究的熱點問題。由于標題是文本內容的

2、高度概括，所以在面對海量的新聞數據時，先用新聞標題對文本進行分類無疑是十分高效的。然而新聞標題作為短文本的一種，它的文本長度基本上不會超過30字，大多數在20字以內，不像其他短文本那樣，比如微博，有時可以達到上百字。所以新聞標題的特征更為稀疏，這給短文本信息分類帶來了更大的挑戰(zhàn)，也意味著傳統(tǒng)的研究方法在新聞標題分類問題上存在缺陷和不足。
　　我們將需要分類的文本集合歸類到一個已定義的類別中的過程稱為文本分類。在面對新聞信息挖掘這個

3、問題時，我們不得不做的一個基礎工作就是對新聞數據進行分類。目前大多數的方法都是針對新聞文本內容進行分類的，也就是通常所說的長文本分類。然而，由于新聞的正文內容通常較多，所以在處理大量的新聞數據時就會非常麻煩。鑒于新聞標題是新聞內容的高度概括，本文利用新聞標題來對新聞進行分類。本文主要做了以下工作:
　　(1)使用從網上找到的未經過加工處理的騰訊新聞數據集，從中提取了新聞標題，并對其進行類別標注和預處理，構建了用于分類的新聞標題語料

4、庫，包括政治、經濟、教育、科技、體育、社會、民生等七大類別新聞，其中，民生類新聞又包括交通、醫(yī)療、住房等三個小類別。
　　(2)由于新聞標題擁有短小精煉的語言特點，使用現有的分詞技術并不能達到很好的分詞效果，這也會影響最終的分類效果。針對這個問題，本文在分詞過程中搜集并使用了新聞領域詞典，并通過實驗最終驗證了該方法的有效性，提高了分類效果。
　　(3)由于新聞標題自身包含特征詞個數極少、并且描述信息能力強，所以傳統(tǒng)的分類方法