基于聚類與流形正則化的分類方法研究.pdf

1、分類器設計一直是模式識別領域研究的重要課題之一。近十年來,隨著統(tǒng)計學習和核函數理論的深入研究,涌現出許多新方法。這些理論和方法較好地解決了模式分類中的局部最優(yōu)、過擬合以及維數災難等問題。然而,在以支持向量機為代表的核分類方法的基礎上,近年來又涌現出了一些新的研究熱點,這些新的熱點往往是傳統(tǒng)模式分類方法存在的弊端,例如,海量高維數據的分類、類重疊和噪聲干擾下的數據分類、多標記數據分類、類不平衡數據的分類、非線性分類中的核函數(矩陣)優(yōu)化以

2、及非線性快速分類等等。在此背景下,本文主要從快速魯棒聚類算法、不平衡樣本的分類、核優(yōu)化、基于流形正則化的快速半監(jiān)督分類等幾個方面進行深入研究,提出了解決類不平衡、核優(yōu)化以及快速分類的新方法。
　　論文的主要研究工作包括以下四個方面的內容:
　　(1)針對實際應用中樣本重疊以及噪聲干擾問題,提出了一種基于樣本加權的可能性模糊聚類算法和一種魯棒可能性模糊核聚類算法。第一種聚類算法主要解決近似線性可分問題,算法通過為孤立點或噪聲點

3、賦予較小的權重縮小典型值的收斂范圍,減小其對聚類的影響。在分析算法收斂性的基礎上,證明了其具有比傳統(tǒng)IPCM(ImprovedPossibilisticC-Means)算法更快的收斂速度,在有效降低時間復雜度的同時能夠取得較好的聚類準確率。第二種聚類算法主要解決線性不可分問題,同時,為解決無監(jiān)督條件下的核函數參數選擇問題,提出了一種核函數參數優(yōu)化方法。因此,所提出的聚類算法不僅可以同時處理線性不可分和部分重疊數據集,而且具有更強的魯棒性

4、,在噪聲干擾下能夠取得較好的聚類準確率。
　　(2)針對實際應用中正負樣本數量分布不平衡分類問題,基于兩種魯棒聚類算法,建立了可能性模糊支持向量機(PossibilisticFuzzySupportVectorMachine,PFSVM)模型,提出了基于可能性模糊聚類的不平衡數據分類方法。所設計的分類器較好地解決了分類中的類不平衡、孤立點和噪聲干擾問題,通過魯棒聚類算法為訓練樣本分配模糊隸屬度和典型值,減小了孤立點和噪聲對SVM的

5、分類精度以及泛化能力所造成的影響。
　　(3)針對多核學習效率較低以及需要預先定義一組核函數等缺陷,建立了無監(jiān)督非參數核學習模型,該模型易于拓展至有監(jiān)督學習。提出了非參數核學習分類方法。該方法通過對多核學習優(yōu)化問題進行放松,使其可以轉化為一系列的稀疏特征值分解子問題,每次迭代中只需進行閉合解的計算,從而提高了核學習的性能和效率。所建立的模型通過把譜核學習和間隔最大化標準進行有機結合,充分利用了數據的低維流形結構,增強了決策函數的光

6、滑性,同時可以有效利用未標記數據進行最大間隔分類。實驗驗證了非參核學習的有效性,在有監(jiān)督和無監(jiān)督情況下,提出的非參核學習方法的性能均優(yōu)于多核學習方法。
　　(4)為解決半監(jiān)督快速學習問題,建立了擴展的流形正則化框架E-MR(ExtendedManifoldRegularizedFramework),提出了推廣的決策函數表示定理、單輸出極速學習機與流形正則化框架關系定理和多輸出極速學習機與流形正則化框架關系定理。這些定理為快速半監(jiān)督

7、分類模型和算法的提出提供了理論依據,表明所建立的流形正則化極速學習機模型(ManifoldRegularizedExtremeLearningMachine,MRELM)是E-MR框架的一個特例,其本質是隨機地離散化核函數。因此,所提出的算法是傳統(tǒng)核分類的近似算法。MRELM繼承了ELM無需調整模型參數的優(yōu)點,能夠為不同的學習任務提供統(tǒng)一的解析解。實驗結果驗證了MRELM算法的有效性。
　　本文研究的內容主要涉及到了不平衡數據分類