數(shù)據流異常檢測技術研究與應用.pdf

1、異常檢測技術由于其在網絡安全、信用欺詐和金融分析等領域的廣泛應用,一直都是信息科學研究領域的關注重點,研究者們將統(tǒng)計學,數(shù)據挖掘,信息理論等眾多技術引入異常檢測的研究,提出了許多有效的異常檢測方法。但是隨著社會信息化程度和數(shù)據采集自動化程度的不斷提高,許多數(shù)據如商品交易、視屏點播等都以數(shù)據流的形式出現(xiàn),因此數(shù)據流作為待分析的動態(tài)數(shù)據集合越來越多地引起研究者和工業(yè)界的關注。相比傳統(tǒng)的靜態(tài)數(shù)據集,數(shù)據流具有海量,無限、多變化(概念漂移)等特

2、點,這些特性都對傳統(tǒng)的異常檢測方法提出了挑戰(zhàn),其中概念漂移更是給數(shù)據流異常檢測方法的有效實現(xiàn)帶來了極大的困難。如何建立一種基于數(shù)據流的異常檢測方法,使得該方法既能體現(xiàn)概念漂移對異常檢測模型的影響又能快速有效的進行異常檢測,將是一個重要的研究課題。
　　 本文以數(shù)據流作為研究對象,把對數(shù)據流概念漂移的處理引入異常檢測研究領域,通過捕獲和容忍數(shù)據流的分布變化,提出了一種適合數(shù)據流應用場景的異常檢測方法,具有較高的應用價值。
　

3、　 本文開篇對傳統(tǒng)的異常檢測技術和現(xiàn)有的數(shù)據流異常檢測技術進行了分析,簡要介紹了典型的檢測方法并給出了自己的見解。在此基礎上,本文提出了一種響應式數(shù)據流異常檢測方法。該方法首先將有監(jiān)督和無監(jiān)督算法結合應用到數(shù)據流異常檢測中,在實現(xiàn)了未知異常數(shù)據對象檢測的同時保證了檢測的效率。針對數(shù)據流中概念漂移的難題,引入了概念漂移檢測和容忍策略來適應數(shù)據流分布的變化。通過訓練數(shù)據選擇、訓練數(shù)據更新和多分類器集成,提高了分類器對概念漂移的容忍度;通過

4、量化分析和比較數(shù)據流中不同時間數(shù)據對象集合的整體特征,實現(xiàn)了概念漂移的檢測,并以此為依據觸發(fā)異常檢測模型的更新。實驗表明,本文提出的響應式數(shù)據流異常檢測方法不但能夠有效地實現(xiàn)數(shù)據流的異常檢測,也能夠捕獲數(shù)據流的概念漂移并及時更新異常檢測模型。最后本文嘗試將該方法應用于P2P僵尸網絡檢測中,通過對僵尸病毒傳播過程中的P2P僵尸通信進行捕獲,輔助實現(xiàn)網絡中僵尸主機的發(fā)現(xiàn),為進一步發(fā)現(xiàn)整個僵尸網絡提供依據。實驗表明,本文中提出的數(shù)據流異常檢測