基于Web的文本挖掘研究.pdf

1、WWW是一個(gè)開(kāi)放的全球性資源，它是世界上最豐富和最密集的信息來(lái)源。隨著WWW上信息的爆炸性增長(zhǎng)，在如此海量的數(shù)據(jù)中發(fā)現(xiàn)有用的信息變得越來(lái)越困難。數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中發(fā)現(xiàn)隱含的規(guī)律性的內(nèi)容，解決數(shù)據(jù)的應(yīng)用質(zhì)量問(wèn)題。充分利用關(guān)鍵有用的數(shù)據(jù)，廢棄虛偽無(wú)用的數(shù)據(jù)，是數(shù)據(jù)挖掘技術(shù)最重要的應(yīng)用。因此，采用數(shù)據(jù)挖掘技術(shù)從WWW上提取隱含的、未知的、非平凡的及有潛在應(yīng)用價(jià)值的信息，具有十分重要的現(xiàn)實(shí)意義和廣泛的應(yīng)用前景。 數(shù)據(jù)挖掘和知識(shí)發(fā)

2、現(xiàn)為解決信息量過(guò)大而人們無(wú)法有效利用的問(wèn)題提供了新的解決途徑。目前，數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的數(shù)據(jù)源主要是已有數(shù)據(jù)庫(kù)中的文本和數(shù)值類(lèi)數(shù)據(jù)，如何對(duì)分布于網(wǎng)絡(luò)環(huán)境下的文本數(shù)據(jù)進(jìn)行挖掘還正在研究。本文首先簡(jiǎn)單闡述了數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的基本理論內(nèi)涵；分析了網(wǎng)絡(luò)信息檢索與數(shù)據(jù)挖掘的特征與特性，特別是Web數(shù)據(jù)挖掘和基于HTML的文本數(shù)據(jù)挖掘；進(jìn)而探討了基于Web的文本數(shù)據(jù)挖掘研究與應(yīng)用的一系列問(wèn)題，包括定義、挖掘?qū)ο蟮奶卣髋c分類(lèi)、挖掘和發(fā)現(xiàn)所需的理論和

3、技術(shù)以及實(shí)驗(yàn)系統(tǒng)的框架結(jié)構(gòu)和功能模塊的分析與設(shè)計(jì)等，力圖為該方向的深入研究提供一些有益的思路。 本文針對(duì)Web環(huán)境下中文文本信息挖掘的具體問(wèn)題，側(cè)重研究中文文本信息挖掘的方法與實(shí)現(xiàn)技術(shù)。討論了文本分類(lèi)中的中文詞切分、特征提取、特征表示、特征匹配方法，建立了基于決策樹(shù)的中文文本分類(lèi)、聚類(lèi)算法，在Web中文文本信息挖掘模型的設(shè)計(jì)中，對(duì)網(wǎng)頁(yè)信息的表示、結(jié)構(gòu)特點(diǎn)、網(wǎng)頁(yè)控制符、HTML控制符號(hào)處理進(jìn)行了詳細(xì)分析與研究，構(gòu)建了網(wǎng)頁(yè)信息提取流