基于先驗信息編碼的約束學習算法研究.pdf

1、由于僅考慮希望的輸入/輸出信息而沒有考慮網絡的結構屬性和所要解決問題的先驗信息或約束條件，傳統(tǒng)的基于梯度下降的反向傳播算法及其諸多改進的算法都無法避免收斂速度慢、泛化性能差等缺陷。因此，將問題中所蘊涵的先驗信息編碼進學習算法的研究無疑是一個具有重要意義的研究方向，它能夠使網絡的訓練有方向可循，而不會誤入“歧途”，從而節(jié)省網絡的學習時間并能提高網絡的泛化能力。本文主要針對基于先驗信息編碼的約束學習算法這一主題來開展理論與應用研究，主要工作

2、可以概括為以下幾個方面： 1.提出了一類改進的耦合附加函數約束的學習算法，該類算法通過隱單元和輸出單元激活函數的一階或二階微分信息構造附加的函數約束，并將它們耦合到算法的附加能量函數中去。該類算法能夠同時降低輸入輸出映射靈敏度和懲罰訓練中產生的連接權的高頻分量，從而使該類算法提高網絡的泛化性能和收斂速度。此外，本文還深入研究了隱層單元的附加約束和輸出層單元的附加約束的不同組合、隱單元數目和算法中自由參數對網絡泛化性能的影響。特別

3、地，本文提出了將放大的梯度函數運用到以上約束算法中，使得算法收斂更快并能增大跳出局部極小點的可能性。最后將這些新算法用于解決時間序列預測問題，取得了較好的效果。 2.為了提高函數逼近精度和收斂速度，提出了三個約束學習算法。這三個逼近算法將從函數逼近問題中提取的先驗知識耦合進約束算法中。先驗信息耦合進算法中是通過兩種方式來實現的，其一是以結構約束的方式來實現的，也就是根據泰勒定理可以將網絡的輸出表示成多項式的形式；其二是以連接權約

4、束的形式來實現的，即根據微分中值定理求出函數一階二階導數近似估計值，再將導數信息表示成權值函數約束并耦合進網絡的能量函數中去。與傳統(tǒng)的前饋網絡逼近算法相比，這三個算法具有收斂快、逼近誤差小的特點。 3.根據早期非小細胞肺癌預后預測問題的特點，提出了極端學習機和主分量分析相結合的預測模型。由于充分利用了極端學習機和主分量分析的特點，該模型預測精度高、速度快，取得了傳統(tǒng)醫(yī)學方法無法比擬的效果。 4.根據泰勒定理和傅立葉級數收

5、斂定理，分別提出了多項式極端學習機和正余弦極端學習機。在這兩類極端學習機中，隱單元激活函數分別為一類特殊的多項式函數和正余弦函數。此外，根據函數的周期性和奇偶性，正余弦極端學習機衍生出四種極端學習機。文中大量的實驗驗證了改進的極端學習機比傳統(tǒng)極端學習機和基于梯度下降的算法更快的收斂速度和更優(yōu)的泛化性能。最后，就已知被逼近函數的數學屬性，對如何選擇最優(yōu)的極端學習機給出了具體的辦法與措施。 5.提出了將自適應粒子群優(yōu)化算法、問題的先

6、驗知識及約束算法相結合的兩種前饋網絡學習算法。這兩種算法首先運用自適應粒子群優(yōu)化算法對問題的解進行適當的全局搜索，再運用約束算法進行局部搜索以便得到最優(yōu)解。其中，第一種算法首先利用耦合先驗知識的自適應粒子群優(yōu)化算法進行全局搜索，再利用考慮了附加函數約束的約束算法進行局部搜索。在這種算法中，還提出了一類耦合先驗知識的自適應粒子群優(yōu)化算法，該粒子群優(yōu)化算法耦合了函數的一階導數(偏導數)信息。而第二種算法首先利用自適應粒子群優(yōu)化算法進行全局搜