人工神經網絡三要素及其特點

1、4.1.1 人工神經網絡三要素人工神經網絡是對生物神經系統(tǒng)的某種抽象、簡化與模擬，是由許多并行互聯(lián)的相同神經元模型組成。網絡的信息處理由神經元之間的相互作用來實現;知識與信息存儲在處理單元相互間的物理連接上;網絡的學習和識別決定于各神經元連接權系數的動態(tài)演化過程。一個神經網絡模型描述了一個網絡如何將它的輸入矢量轉化為輸出矢量的過程。通常，神經網絡模型由網絡模型的神經元特性、拓補結構和學習或訓練規(guī)則三個要素確定。一、神經元特性作為神經網絡

2、基本單元的神經元模型也有其三個基本要素:l)一組連接權;2)一個求和單元:3)一個非線性激勵函數。神經元是神經網絡的基本處理單元，它一般是多輸入單輸出的非線性器件，其結構模型如圖 4 一 1 所示。式中 為輸入信號， 為神經元 j 到神經元 k 的連接權 j x ( 1,2, , ) j p ? ??? kj w ( 1,2, , ) j p ? ???值， 為線性組合結果， 為閾值。 為神經元激勵函數， 為神經元的輸1pk kj jj

3、u w x?? ? k ? ? k y出。1. 激活函數 激活函數 (Activation Functions)(1) 線性激活函數 線性激活函數x x purelin x f ? ? ) ( ) ((2) 硬限幅激活函數 硬限幅激活函數1pk kj j kjv w x ??? ? ?? ? k k y v ? ?1 x p xj x 2 xkp wkj w 2 k w 1 k wxyyx學習進行。學習的過程就是按某種預定的度量通過調節(jié)

4、自身參數(如權值)來達到性能改養(yǎng)的過程。學習方式有三種:(l)監(jiān)督學習(有教師學習)這種學習方式需要外界存在一個“教師” ，它可對給定一組輸入提供應有的輸出結果，這組己知的輸入一輸出數據稱為訓練樣本集，學習系統(tǒng)(神經網絡)根據己知輸入與實際輸出之間的差值(誤差信號)來調節(jié)系統(tǒng)參數。（2）非監(jiān)督學習(無教師學習)非監(jiān)督學習不存在外部教師，學習系統(tǒng)完全按照環(huán)境提供數據的某些統(tǒng)計規(guī)律來調節(jié)自身參數或結構，以表示出外部輸入的某種固有特性。(3)

5、再勵學習(強化學習)這種學習介于上述兩種情況之間，外部環(huán)境對系統(tǒng)輸出結果只給出評價信息(獎或懲)而不給出正確答案，學習系統(tǒng)通過強化受獎的動作來改善自身的性能。2、學習算法(l)誤差糾正學習神經網絡的誤差信號為 ( ) ( ) ( ) k k k e n d n y n ? ?式中 為理想輸出， 為實際輸出。誤差糾正學習的最終目的是使某一基于誤 ( ) k d n ( ) k y n的目標函數達到最小，使網絡中每個輸出單元的實際輸出在某種