基于詞庫與貝葉斯定理的中文單詞分詞方法的研究.pdf

1、近幾十年以來,經(jīng)過國內(nèi)外廣大專家學(xué)者研究人員的努力,現(xiàn)在已經(jīng)形成了一些常用的中文分詞算法,最常見的包括了基于詞典的機械中文分詞算法、基于統(tǒng)計的中文分詞算法和基于理解的中文分詞算法。這些算法都有其各自的優(yōu)勢與局限性,基于詞庫的機械分詞算法實現(xiàn)簡單運行效率高,但對新詞的識別效果差;基于理解的中文分詞算法難以達到應(yīng)用的程度,主要還是以理論研究為主;基于統(tǒng)計的中文分詞算法對新詞的處理效果好,但是算法時空開銷大,對常用詞識別效果差。目前已有的系統(tǒng)

2、主要都是基于這三種常用算法來實現(xiàn)的,但是由于漢語語言的復(fù)雜性以及隨著時代變化不斷涌現(xiàn)出的各種新詞匯,這些系統(tǒng)尚不能完全滿足實際應(yīng)用系統(tǒng)的需求。
　　在算法研究的理論基礎(chǔ)上,實現(xiàn)了基于詞庫與貝葉斯定理的分詞算法。構(gòu)建了一個包括了常用詞庫與其他特征詞庫的分詞詞庫,而且能夠根據(jù)語料庫的文本來對詞庫進行更新,從而提高了分詞詞庫的質(zhì)量。通過采用Hash表與鏈表結(jié)合的方式來存儲詞庫,來滿足算法對詞庫數(shù)據(jù)的快速查找的需求。將傳統(tǒng)的貝葉斯定理靈活

3、地應(yīng)用于中文分詞上,得到計算分詞方案概率的公式,并根據(jù)分詞詞庫里中文詞匯的概率數(shù)據(jù)來計算分詞方案的概率。歧義問題的處理是中文分詞的一個比較大的技術(shù)難點,對于這個問題的處理,算法采用的是二元模型,能有效解決這個問題。經(jīng)過這些處理,使得算法能夠充分汲取各種常見算法的優(yōu)勢,避免各自的局限性,對常用詞匯以及新詞的處理效果都比較好。
　　在各種測試條件下的測試結(jié)果表明,該算法具有良好的分詞效果,對歧義處理、未登錄詞的處理方面效果較好,基本可