基于頁面主體提取的WEB信息抽取技術研究.pdf

1、隨著Internet的飛速發(fā)展，互聯(lián)網(wǎng)上的數(shù)據(jù)量呈爆炸性增長，使得Web已經(jīng)成為全球信息傳播與共享的重要渠道，而網(wǎng)頁固有的半結構性以及網(wǎng)絡上存在大量的與網(wǎng)頁主題無關的信息，使人們無法快速準確的獲得所需要的信息。這種情況下，研究如何從Web中抽取出人們所需要的信息已經(jīng)變得越來越重要。
　　國內外學者在這方面已經(jīng)有了大量的研究。然而通過對現(xiàn)有Web信息抽取方法和當前Web網(wǎng)頁特點的分析，發(fā)現(xiàn)現(xiàn)有抽取技術存在自動化程度不夠和抽取結果不準

2、確的問題。為了彌補以上的兩個不足，本文提出了一種基于頁面主體提取的Web信息抽取方法，主要包括頁面預處理、頁面主體提取、抽取規(guī)則生成、信息抽取四個模塊。頁面預處理模塊利用JTidy完成對HTML標簽的格式化，以及頁面中一些與主題無關內容的去除。頁面主體提取模塊使用HTMLParser對頁面進行解析，得到與Web頁面對應的結構樹，然后分析結構樹，使用基于MMTD的算法識別出頁面的主體部分。而抽取規(guī)則生成模塊則使用了XPATH和XSLT，針

3、對頁面主體生成一類頁面的抽取規(guī)則。信息抽取模塊將抽取規(guī)則運用于待抽取頁面便得到我們需要的信息，并將其存入數(shù)據(jù)庫，以方便人們查找并使用。在以上的處理過程中，Web信息的抽取是在頁面主體提取的基礎上完成的，這也是說此方法是基于頁面主體提取的原因。
　　本文提出的方法屬于自動的信息抽取，整個抽取過程幾乎完全不需要人工參與，與已有研究相比，自動化程度較高；且利用了強大而靈活的XPATH和XSLT使得規(guī)則生成的過程大大簡化，同時提高了抽取方