BP神經(jīng)網(wǎng)絡結構優(yōu)化方法的研究及應用.pdf

1、本文針對BP神經(jīng)網(wǎng)絡的中存在的最優(yōu)結構問題(即網(wǎng)絡中隱層數(shù)和隱層節(jié)點數(shù)難以確定的問題)及BP算法的缺陷,分別從網(wǎng)絡剪枝方法和遺傳算法等方面給出了解決方法,提出了基于權值擬熵的快速OBS剪枝算法和基于遞階遺傳算法的BP神經(jīng)網(wǎng)絡結構優(yōu)化方法。同時,在所提理論的基礎上,以MATLAB為仿真平臺,實現(xiàn)了Hermit多項式和非線性函數(shù)的逼近及簡單的模式分類問題,驗證了所提方法在解決“網(wǎng)絡最優(yōu)結構”問題等方面的有效性。
　　 本文的主要研究

2、內容包括以下四個方面:
　　 (1)分析研究BP算法,針對BP算法的缺陷,將網(wǎng)絡的權值擬熵作為懲罰項加入到目標函數(shù)中來訓練網(wǎng)絡,使網(wǎng)絡在訓練過程中自動約束權值分布,并使網(wǎng)絡權值的分布趨于集中。
　　 (2)針對BP神經(jīng)網(wǎng)絡中隱層節(jié)點數(shù)難以確定的問題,提出了一種基于權值擬熵的快速OBS剪枝算法。該算法對OBS剪枝算法進行了改進,能夠大大提高網(wǎng)絡的剪枝速度。實驗結果表明,該算法能夠得到網(wǎng)絡的精簡結構,對網(wǎng)絡的泛化能力有較好的

3、改善作用,并且能夠提高剪枝算法的執(zhí)行效率。
　　 (3)提出了一種基于遞階遺傳算法的BP網(wǎng)絡的結構優(yōu)化方法,該方法利用遞階遺傳算法中染色體的分層結構分別優(yōu)化網(wǎng)絡結構和權值,并用BP算法對進化后具有固定結構的網(wǎng)絡權值進一步調整,從而實現(xiàn)了網(wǎng)絡結構與權值的同時優(yōu)化。實驗結果表明,該算法能夠得到網(wǎng)絡的精簡結構,并能大大提高網(wǎng)絡的收斂速度。
　　 (4)以MATLAB為仿真平臺,應用上述方法實現(xiàn)了對Hermit多項式和非線性函數(shù)