極限學習機結構優(yōu)化及其應用研究.pdf

1、傳統(tǒng)的神經(jīng)網(wǎng)絡BP梯度學習算法存在著訓練時間長、過度擬合訓練樣本和易陷入局部最優(yōu)等問題。極限學習機具有學習時間短、算法簡單容易實現(xiàn)、良好的泛化性能和能避免陷入局部最優(yōu)等優(yōu)點,已經(jīng)成功應用于函數(shù)擬合和分類等應用領域。但極限學習機存在著所獲得的網(wǎng)絡結構比BP學習算法獲得的網(wǎng)絡結構復雜,對未知數(shù)據(jù)的響應時間長的問題。該文對極限學習機網(wǎng)絡結構優(yōu)化問題進行了研究,完成的研究工作如下:
　　1.通過研究誤差最小化極限學習機的網(wǎng)絡結構冗余問題,

2、認為原因在于其輸入權重和閾值采用隨機取值方式,不能保證上述取值的有效性。故將遞歸最小二乘法引入到算法中,用于計算每個結點的輸入權重和閾值,從而得到了基于遞歸最小二乘法的增長型極限學習機(RLSI_ELM)。測試結果表明,在相同的分類準確度要求下,RLSI_ELM與EI_ELM及EM_ELM相比,能夠在短時間內獲得更加簡化的網(wǎng)絡結構。
　　2.考慮到量子粒子群優(yōu)化算法的較強尋優(yōu)能力,將量子粒子群優(yōu)化算法應用于極限學習機,用以確定網(wǎng)絡

3、結點的輸入權重和閾值,替代原本的隨機取值方式,提出了基于量子粒子群優(yōu)化算法的極限學習機(QPSO_ELM)。實驗結果表明,該方法可以獲得更加有效的輸入權重和閾值,簡化網(wǎng)絡結構。
　　3.將QPSO_ELM方法應用于手寫體數(shù)字識別中,構造了一個數(shù)字識別分類器。利用美國郵政手寫數(shù)字數(shù)據(jù)集對數(shù)字識別分類器進行了識別測試,實驗結果表明,相較于ELM和BP神經(jīng)網(wǎng)絡,QPSO_ELM可以達到更好的分類效果,而且QPSO_ELM的對手寫體數(shù)字識