延遲反饋神經(jīng)網(wǎng)絡和兩層反饋神經(jīng)網(wǎng)絡的研究.pdf

1、反饋神經(jīng)網(wǎng)絡是神經(jīng)網(wǎng)絡中最重要的類型之一，這種網(wǎng)絡的突出特點就是它具有聯(lián)想記憶的功能。反饋神經(jīng)網(wǎng)絡最重要的范例就是Hopfield網(wǎng)絡，它已經(jīng)被人們廣泛地研究過，然而Hopfield網(wǎng)絡和它的許多變種都存在著一些嚴重的缺陷，比如偽吸引子問題和低存儲率問題。這些缺陷嚴重地限制了它們的實際應用能力。另外，Hopfield網(wǎng)絡是典型的非線性動力系統(tǒng)，在近十幾年來非線性動力學的發(fā)展中，人們認識到到了非線性動力系統(tǒng)不僅可能存在不動點解，而且也可能

2、存在大量的極限環(huán)或周期運動解。目前，絕大部分反饋神經(jīng)網(wǎng)絡都是利用系統(tǒng)的不動點作為信息存儲的載體，但這種方式?jīng)]有利用非線性動力系統(tǒng)大量存在的周期解，從某種意義上說是一種巨大的浪費。 最近，趙鴻教授提出了一套關于聯(lián)想記憶反饋神經(jīng)網(wǎng)絡的整體學習規(guī)則(蒙特卡羅優(yōu)化變異規(guī)則)[Phys．Rev．E．70，066137(2004)]。這種學習規(guī)則的基本思想就是：通過不斷地優(yōu)化變異隨機選擇的連接權矩陣元，從而使網(wǎng)絡在給定的訓練目標下達到整體最

3、優(yōu)。采用這種學習規(guī)則訓練的反饋網(wǎng)絡有許多非常有趣的動力學性質(zhì)。特別是，用這種學習規(guī)則訓練的反饋網(wǎng)絡存在三個動力學性質(zhì)非常不同的相區(qū)：混沌區(qū)、純記憶區(qū)和混合區(qū)。在純記憶區(qū)，偽吸引子被完全消除，因此它非常適合于聯(lián)想記憶的應用。 本論文利用這套整體學習規(guī)則重點研究兩個問題。第一個問題是推廣蒙特卡羅優(yōu)化變異規(guī)則的方法，使它能直接應用于延遲反饋神經(jīng)網(wǎng)絡的訓練，并詳細研究了用這種方法訓練出的網(wǎng)絡的動力學性能，如偽吸引子和存儲率等。第二個問題

4、是推廣蒙特卡羅優(yōu)化變異規(guī)則的方法，使它能直接應用于以極限環(huán)作為信息存儲載體的網(wǎng)絡，并研究極限環(huán)吸引子網(wǎng)絡(包括多層反饋網(wǎng)絡和延遲反饋網(wǎng)絡)的動力學行為、網(wǎng)絡性能，以及與對應的不動點吸引子網(wǎng)絡的區(qū)別。 在本論文的第一部分，我們把蒙特卡羅優(yōu)化變異規(guī)則推廣到存儲記憶模式為不動點吸引子和極限環(huán)吸引子的延遲反饋網(wǎng)絡上，然后對這種延遲反饋網(wǎng)絡的存儲率和動力學性質(zhì)進行研究。我們的研究表明，采用蒙特卡羅優(yōu)化變異規(guī)則訓練的延遲反饋網(wǎng)絡，和采用關聯(lián)

5、學習規(guī)則訓練的延遲反饋網(wǎng)絡一樣，最大存儲率和延遲的長度成線性增長關系，但前者的數(shù)值遠遠高于后者；另外，蒙特卡羅優(yōu)化變異規(guī)則訓練的延遲反饋網(wǎng)絡的推廣能力也比關聯(lián)學習規(guī)則訓練的延遲反饋網(wǎng)絡要好；還有一個有趣的發(fā)現(xiàn)就是，在蒙特卡羅優(yōu)化變異規(guī)則訓練的延遲反饋網(wǎng)絡中，如果記憶極限環(huán)的長度足夠大，偽吸引子會完全消失，網(wǎng)絡不存在混合區(qū)。作為應用例子，我們演示了用延遲反饋網(wǎng)絡存儲具有交叉點的多個極限環(huán)，從一小串數(shù)字中聯(lián)想起整個數(shù)字序列。 在本論