人工神經樹網絡模型的優(yōu)化研究與應用.pdf

1、人工神經網絡是模擬生物神經網絡進行信息處理的一種數學模型，是由大量神經元廣泛互連而成的網絡，其目在于通過模擬大腦的某些功能機制，實現(xiàn)一些特定的功能。人工神經網絡以其具有大規(guī)模并行處理、容錯性、自組織和自適應能力等特點，己成為解決復雜問題的有效工具。目前，已存在的神經網絡模型有很多，其中多層前饋神經網絡是研究和應用較多的模型之一。它是由簡單神經單元構成的具有明顯層次結構的網絡模型，且有良好的非線性品質，靈活有效的學習方式，較強的非線性系統(tǒng)

2、模擬能力，因此被廣泛的應用于系統(tǒng)辨識、數據挖掘、信號處理、故障診斷等領域。盡管Hornik等證明了僅需一個具有單隱含層的前饋神經網絡就可以逼近任意復雜度的函數，但是如何找到合理的神經網絡結構和相應參數取值卻是一個NP-hard問題。因此，多層前饋神經網絡仍然存在一些難題:首先，在網絡拓撲結構設計方面，網絡隱層數及各隱層隱節(jié)點數的選擇，通常根據實際問題采用“經驗法”或“適湊法”來確定，具有較強的不確定性，然而神經網絡的泛化能力很大程度上取

3、決于神經網絡拓撲結構的設計，因此傳統(tǒng)網絡結構設計方法容易導致神經網絡的泛化能力差；在網絡參數優(yōu)化方面，傳統(tǒng)的基于梯度下降的誤差反傳算法雖然有良好的數學理論支撐，但是仍然存在收斂速度慢、易陷入局部最優(yōu)、對參數初始值敏感等缺點，極大的限制了多層前饋神經網絡的應用。
　　針對多層前饋人工神經網絡的特點、存在的問題以及相關技術的研究趨勢，本論文研究了一種新的基于樹編碼的人工神經網絡模型:神經樹網絡模型及其優(yōu)化問題，并對其在數據挖掘領域中的

4、典型應用做了深入的探討。
　　本文主要研究內容概述如下:
　　1、針對神經樹網絡模型在實際應用中遇到的問題及特點，從以下兩個方面對神經樹網絡模型的描述進行研究和改進:
　　(1)對神經樹網絡模型定義的改進:解決了模型中函數節(jié)點的孩子節(jié)點中終端節(jié)點重復導致過多無效個體產生的問題以及神經樹網絡模型的最大深度設置問題。
　　(2)根據神經樹網絡模型的自身特點，給出了一種新的神經樹網絡模型元組描述法，為神經樹網絡模型提供

5、了一個方便和科學的描述方法。
　　2、通過研究目前關于神經樹網絡模型拓撲結構和參數已有的優(yōu)化方法，從以下三個方面對其優(yōu)化方法進行研究和改進:
　　(1)在神經樹網絡模型拓撲結構優(yōu)化方面:提出了基于積木塊庫的改進遺傳規(guī)劃算法、基于層次可變概率向量的PIPE算法和基于樹編碼的粒子群優(yōu)化算法。相關仿真實驗表明，上述方法可以有效的減少進化過程中無效個體的產生，提高神經樹網絡模型的進化收斂速度和誤差精度。
　　(2)在神經樹網絡

6、模型參數優(yōu)化方面:引入差分進化算法，該算法具有控制參數少、實現(xiàn)容易、不易陷入局部極小等特點，非常適合神經樹網絡模型的參數優(yōu)化。
　　(3)在神經樹網絡模型拓撲結構優(yōu)化和參數優(yōu)化協(xié)調方面:針對目前先拓撲結構優(yōu)化后參數優(yōu)化學習策略可能產生的“干擾適應度評價”問題，提出了一種改進的BGP算法，實現(xiàn)了神經樹網絡模型拓撲結構和參數的同時優(yōu)化。相關仿真實驗表明，該算法能有效的提高神經樹網絡模型的進化收斂速度和誤差精度。
　　3、結合集成

7、學習提出了神經樹網絡集成的概念，對神經樹網絡集成在數據挖掘領域中的分類和預測問題上的應用進行了研究并提出了若干相關模型:
　　(1)在分類問題方面:提出了一種以神經樹網絡模型為基本分類器的神經樹網絡集成方法，以“輸出結果處理法”為主要研究對象，構建了基于糾錯碼的神經樹網絡集成分類模型，同時給出了該集成分類模型的算法設計和工作流程，最后在若干 UCI數據集上對該集成分類模型的有效性和優(yōu)越性進行了實驗驗證；另外，提出了基于Baggin

8、g和Boosting的神經樹網絡集成分類模型，同時給出了兩種集成分類模型的算法設計及其在若干 UCI數據集上的仿真實驗對比。
　　(2)在預測問題方面:提出了基于Bagging和Boosting的神經樹網絡集成預測模型，并以非線性函數模擬為應用對象，與相關模型的性能分別進行了仿真實驗對比。
　　4、根據神經樹網絡模型研究的實驗需求，結合面向對象技術和軟件 Matlab R2008a，在Visual Studio。NET200