大規(guī)模網(wǎng)絡下復雜應用識別及私有網(wǎng)絡挖掘技術研究.pdf

1、互聯(lián)網(wǎng)的出現(xiàn)為人們帶來了極大的便利，改變了吃穿住行等多個領域的生活方式。隨著互聯(lián)網(wǎng)的日益普及和網(wǎng)絡技術的飛速發(fā)展，互聯(lián)網(wǎng)已經成為了人們主要的交流溝通工具和信息分享渠道。然而，隨著網(wǎng)絡用戶規(guī)模的不斷擴大，網(wǎng)絡新技術的不斷發(fā)展，給網(wǎng)絡用戶帶來便利的同時卻是給網(wǎng)絡管理帶來了巨大的挑戰(zhàn)。
　　傳統(tǒng)的網(wǎng)絡分析方法在面對大規(guī)模的網(wǎng)絡流量時，遇到嚴重的困境：首先，新出現(xiàn)的網(wǎng)絡應用大規(guī)模地使用分布式架構和加密協(xié)議，并采用復雜的通信過程保證業(yè)務的完

2、備性，極大地改變了網(wǎng)絡流量的組成方式，使得傳統(tǒng)的協(xié)議識別方法無法有效識別關鍵業(yè)務和關鍵應用，嚴重影響了網(wǎng)絡運營商和網(wǎng)絡服務商對網(wǎng)絡環(huán)境的認知，以及對關鍵服務的保障，甚至可能帶來嚴重的網(wǎng)絡安全問題，造成用戶的數(shù)據(jù)丟失和隱私被竊??；其次，大規(guī)模網(wǎng)絡環(huán)境所帶來的類不平衡問題嚴重影響了基于機器學習的協(xié)議識別方法的準確性，降低了其實用效果；再次，隨著網(wǎng)絡用戶、帶寬和應用的快速增長，網(wǎng)絡流量急劇膨脹，呈現(xiàn)大數(shù)據(jù)的特性，給傳統(tǒng)的網(wǎng)絡協(xié)議分析方法帶來了

3、嚴重的挑戰(zhàn)。
　　因此，基于上述研究背景及相關問題，本文的主要工作包括：
　?。?）針對復雜應用識別難的問題，提出了基于流感知的復雜應用識別方法，該方法通過對復雜應用通信特性的分析和研究，從時間、空間以及流量三個維度對復雜應用所產生的網(wǎng)絡流量進行感知，建立了一個有效的行為模型，能夠有效識別復雜應用，解決了復雜應用識別問題；
　　（2）針對大規(guī)模網(wǎng)絡環(huán)境中小類別應用識別準確率低的問題，提出了基于MinMax原則分類器集成

4、的SAIMM方法。首先分析了大規(guī)模網(wǎng)絡下正例樣本和反例樣本比例過大所引發(fā)的的正例識別結果中誤報增多的原因和機理，之后采用分類器集成的方法對數(shù)據(jù)樣本進行處理，提高小類別應用流量的識別偏重，在保證總體識別準確率的同時，提高對小類別應用流量的識別性能；
　　（3）針對網(wǎng)絡流量大數(shù)據(jù)分析難和復雜應用私有網(wǎng)絡挖掘難的問題，提出了網(wǎng)絡流場方法，將主機、服務器、網(wǎng)絡流量等信息抽象成節(jié)點、通信行為等，采用流場挖掘、流量關聯(lián)的方法對海量的網(wǎng)絡信息進

5、行挖掘，構建普通用戶甚至網(wǎng)絡運營商所看不到的復雜應用私有網(wǎng)絡，剖析私有網(wǎng)絡的運行機制；
　?。?）綜合上述三個方面的研究成果，設計并實現(xiàn)了一套復雜應用識別與分析系統(tǒng)SpiderWeb，包括網(wǎng)絡流量預處理模塊、流感知模型特征提取模塊、復雜應用識別模塊、海量日志存儲模塊、網(wǎng)絡流場挖掘模塊以及可視化展示模塊等。實驗結果表明，該系統(tǒng)能夠有效解決大規(guī)模網(wǎng)絡環(huán)境下的復雜網(wǎng)絡識別與分析問題，滿足識別性能和分析的需要。
　　本文提出的復雜應