基于逆向清理的實時數據整合及數據準確度評估.pdf

1、隨著信息技術的不斷發(fā)展，數據在不斷涌現，并呈現異構、自治等特點，企業(yè)如何高效、正確的分析數據成為當前重要的課題。在數據的時效方面，要求數據更新的頻率越來越快，傳統(tǒng)的數據集成方法一般是每天、每周甚至每個月更新一次，這遠遠滿足不了現在的需求；在數據的質量方面，盡管有大量的可用數據，但數據的質量一直是個困擾的難點，很多企業(yè)為了更準確的制定決策，花費大量的人力物力來提高他們的數據質量，但依然收效甚微。
　　異構數據的整合技術和數據質量應該

2、無縫的協同工作，數據整合過程是一個持續(xù)的過程，數據質量也是一樣。目前在構建數據整合系統(tǒng)中面臨的最大困難是如何解決數據的實時更新和數據準確度問題。
　　針對數據實時更新問題，本文在傳統(tǒng)ETL過程的基礎上，利用適配器、實時線程等技術來判斷時間戳，建立實時的數據裝載模式。一旦原數據進行了更新，便實時的將數據裝載到數據中心。針對數據的質量問題，本文提出一種數據逆向清理的方法，它利用數據整合過程中構建的數據來源樹，在逆向清理時快速的查找原始

3、數據的位置，并對原始數據進行反向清洗、匹配和修改，使原始數據的質量得到提高，為平臺提供高質量的數據基礎。
　　此外，在數據的質量評估方面，本文在貝葉斯網絡、PC算法的基礎上提出一種數據準確度評估方法-DAA方法，該方法通過對數據集構建網絡，利用PC算法消除獨立節(jié)點的邊，再計算網絡的平均度數的方法，能實現對兩個數據集的準確度對比判斷。本文對兩個已知的貝葉斯網絡運用DAA方法，并比較網絡的度數得分來驗證該方法的有效性。該方法的提出對人

4、工智能和知識發(fā)現具有一定的研究意義。
　　最后，對基于逆向清理的異構數據整合模型，在本地搜索服務項目中進行實際運用。本文設計并實現了商家數據整合系統(tǒng)的原型，并利用系統(tǒng)原型對數據整合過程和逆向清理過程進行實驗驗證，通過實地驗證比較了原始數據整合前后和逆向清理前后的數據準確度。實驗結果表明，實驗證明整合后的數據準確度明顯高于原始數據，提高平均值達到14.8％；且逆向清理后，原始數據的準確度平均提高了5.15％。實驗結果充分說明了數據整