BP神經網絡學習問題的分析研究.pdf

1、機器學習的任務是設計某種方法和模型,通過對已知數據的學習,找到數據間內在的相互依賴關系,從而對未知數據進行預測和判斷。人工神經網絡是重要的機器學習方法之一,其中BP神經網絡是應用最廣泛的神經網絡模型之一,本文以BP神經網絡為研究對象,提出了一種新的學習率自適應算法,并且對其學習問題進行分析研究,把神經網絡的目標函數作為研究重點。
　　BP算法實質上是通過梯度下降法反復迭代得到神經網絡權值的最終解,而神經網絡權值的解存在某一解的區(qū)域

2、,如果訓練樣本的誤差很大,說明神經網絡權值的最終解通過梯度下降法的迭代并沒有達到解的區(qū)域,此時出現欠學習現象;如果訓練樣本的誤差很小,神經網絡權值的解到達了解區(qū),但是處于解區(qū)中央部分的權向量更可靠些,否則會出現過學習現象。神經網絡的學習能力與推廣能力之間有很大的關系,神經網絡模型的復雜度對神經網絡學習能力的影響可以從偏差與方置的觀點進行解釋,而BP神經網絡權值解的過程即神經網絡的學習過程還與權值的初始值、樣本質量、樣本數量、誤差函數、學

3、習步長這些因素有關,對于影響學習能力各個因素耦合關系的定量描述,國內外還尚未出現,本文提出的觀點是從神經網絡解的軌跡出發(fā),得到影響神經網絡學習能力的各個因素關系式,進而得到欠學習與過學習的定量描述,才能根本上解決欠學習與過學習問題。
　　BP神經網絡的學習通常以均方誤差(MSE)函數為目標函數,它的應用條件之一為目標變量被限定服從高斯分布,否則其結果可能偏離真正最優(yōu)。零誤差密度最大(Z-EDM)算法利用非參數估計中的Parzen窗

4、法得到誤差在零點的概率密度函數(Z-ED),作為BP網絡的目標函數。本文通過研究分析可知此目標函數通過整定參數h,適用于目標變量服從任何分布,是能夠模擬均方誤差函數及交叉熵函數性能的原因,更適合作為BP網絡的目標函數,仿真結果驗證了這個結論。同時本文通過分析指出參數h的確定方向為通過調整參數h,零誤差函數準則能夠準確描述樣本誤差的概率密度函數。
　　均方誤差函數中每個樣本誤差所占的比重是相同的,過于重視誤差較大的點,抗干擾能力弱,