*CN102982372A*
(10)申请公布号 CN 102982372 A(43)申请公布日 2013.03.20
(12)发明专利申请
(21)申请号 201110276373.8(22)申请日 2011.09.07
(71)申请人李树德
地址中国香港荃湾杨屋道8号如心广场2座
2101-2室(72)发明人李树德
(74)专利代理机构北京品源专利代理有限公司
11332
代理人杨生平 钟锦舜(51)Int.Cl.
G06N 3/02(2006.01)G06N 3/04(2006.01)
权利要求书 1 页 说明书 18 页 附图 13 页权利要求书1页 说明书18页 附图13页
(54)发明名称
神经元振荡器及基于该神经元振荡器的混沌神经网络(57)摘要
本发明公开了一种神经元振荡器，即Lee振荡器(Lee-oscillator)，该Lee振荡器包括兴奋神经元和抑制神经元，该兴奋神经元接收来自该抑制神经元的抑制性信号，而该抑制神经元接收来自该兴奋神经元的兴奋性信号，且所述兴奋神经元和所述抑制神经元各自存在兴奋性自反馈，该神经元振荡器还包括输入神经元和输出神经元，该输出神经元接收来自该输入神经元的兴奋性信号、来自所述兴奋神经元的兴奋性信号以及来自所述抑制神经元的抑制性信号，所述输入神经元和所述兴奋神经元分别接收外部输入刺激。本发明的Lee振荡器具有神经动力学的连续性，提供从混沌动力学到非混沌动力学真正的渐变。本发明还提供了一种基于该Lee振荡器的瞬时混沌自联想网络。
CN 102982372 ACN 102982372 A
权 利 要 求 书
1/1页
1.一种神经元振荡器，包括兴奋神经元和抑制神经元，该兴奋神经元接收来自该抑制神经元的抑制性信号，而该抑制神经元接收来自该兴奋神经元的兴奋性信号，且所述兴奋神经元和所述抑制神经元各自存在兴奋性自反馈，其特征在于，该神经元振荡器还包括输入神经元和输出神经元，该输出神经元接收来自该输入神经元的兴奋性信号、来自所述兴奋神经元的兴奋性信号以及来自所述抑制神经元的抑制性信号，所述输入神经元和所述兴奋神经元分别接收外部输入刺激。
2.根据权利要求1所述的神经元振荡器，其特征在于，所述输出神经元接收的兴奋性信号和抑制性信号受到衰减因子作用。
3.根据权利要求2所述的神经元振荡器，其特征在于，所述兴奋神经元、所述抑制神经元、所述输入神经元和所述输出神经元的状态变量u(t)、v(t)、s(t)和z(t)分别由式(7)、(8)、(9)、(10)表示：
u(t+1)＝f[a1·u(t)+a2·v(t)+I(t)-θu](7)，v(t+1)＝f[b1·u(t)-b2·v(t)-θv] (8)s(t+1)＝f[I(t)] (9)
其中，a1、a2、b1和b2为权重参数；θu和θv分别为兴奋神经元和抑制神经元的阈值；I(t)为外部输入刺激；k为衰减常量；f()表示S形函数。
4.根据权利要求3所述的神经元振荡器，其特征在于，所述S形函数由式(3)表示：f(p；μ)＝tanh(μp) (3)其中，μ为控制S形函数行为的因子。
5.根据权利要求2-4中任一项所述的神经元振荡器，其特征在于，k＝500，a1＝5，a2
＝5，b1＝1，且b2＝1。
6.一种瞬时混沌自联想网络，其特征在于，包括多个根据权利要求1-5中任一项所述的神经元振荡器，所述多个神经元振荡器中的任一个均与其余神经元振荡器连接。
7.根据权利要求6所述的瞬时混沌自联想网络，其特征在于，所述神经元振荡器之间的连接权重wij由式(11)表示：
其中，Np表示所述瞬时混沌自联想网络中存储的模式总数；xip和xjp表示所述瞬时混沌自联想网络中存储的模式。
8.根据权利要求7所述的瞬时混沌自联想网络，其特征在于，
其中，zi(t)表示第i个神经元振荡器的输出神经元的状态变量；M表示所述瞬时混沌自联想网络中神经元振荡器的总数；uj(t)、vj(t)、sj(t)分别表示所述神经元振荡器中的兴奋神经元、抑制神经元和输入神经元的状态变量；fs()表示由式(3)给出的S形函数：
f(p；μ)＝tanh(μp) (3)。
2
CN 102982372 A
说 明 书
1/18页
神经元振荡器及基于该神经元振荡器的混沌神经网络
技术领域
本发明涉及神经科学领域，具体而言，涉及一种神经元振荡器以及基于这种神经
元振荡器的混沌神经网络，更具体而言，涉及Lee振荡器(Lee-oscillator)以及基于Lee振荡器的瞬时混沌自联想网络。
[0001]
背景技术
生物神经元振荡器是指能够产生振荡行为的活体组织，它们往往由相互耦合的大
量神经元细胞构成。为了建立生物神经元振荡器的数学模型，提出了以少量人工神经元构成的人工神经元振荡器(下文中简称为神经元振荡器)以模拟相似功能，进而由神经元振荡器构成神经网络。
[0003] 在过去几十年当中，对于各种不同应用环境，包括从简单的突触记忆编码问题到复杂的模式识别问题如场景分析和前景背景分割[14][41][61]，从作为记忆缓冲器的简单突触[5][48]
到复杂的天气预报系统[44]，都广泛采用了神经网络。此外，目前关于神经科学和生理学的研究已经指出，在典型的场景分割问题上，时间(或者本文中所谓的“瞬时”)非线性神经动力学和振荡很大程度上涉及人的主要感官(例如视觉、嗅觉等等)。Aihara等人和Wang对关于模式联想的混沌神经元振荡器进行了很多研究工作[4][13][63][64]，而且Wang对Wang振荡器(Wang-oscillator)进行了很多研究。
[0004] 关于神经科学和计算神经生物学的最新研究已经指出，人的主要感官(包括视觉和嗅觉)在模式表达、处理和识别方面很大程度上以时空方式工作，而不仅仅以空间方式工作[20][28]。如von der Malsburg等人所开发的著名的相关理论 [49]中所述，所有用于模式联想和识别的视觉系统可通过脑中神经元之间的时间相关实现，后来，在用于记忆联想的动态联结体系(DLA)[50]中考虑了该相关理论。实际上，时空记忆编码理论已从各种生理学实验发现中得到很多支持，这些实验包括对猫视觉皮层区域和嗅觉系统的非线性动力学研究，其中，嗅觉系统通过以振荡方式改变其神经动力学来对刺激进行编码和处理，而不是通过以状态模式呈现神经动力学来对刺激进行编码和处理[18][24][27]。基于该相关理论的最新进展和研究包括：对用于感觉分割、面部和手势识别[42][56][57][66]的耦合神经元振荡器的研究[51]；以及用于复合场景分析和监视系统的复合神经元振荡器 [40][41]。 [0005] 此外，关于这些时空神经元编码信息处理系统[33][68]，对脑科学和生理学的最新研究指出，在这些非线性动态系统中发现了确定性混沌模式，例如包括：嗅觉系统中的混沌Electroencephalogram(EEG)模式[23]；鱿鱼巨轴突中的混沌振荡和分岔[2][3]；加利福尼亚龙虾幽门中枢模式发生器(CPG)中的混沌神经元 [19][32]；以及脑机能中的各种混沌现象[21][22][28][46]
，例如人脑中的混沌ECoG(皮层EEG)[52]，以及在感受1/f音乐期间EEG的混沌动力
学[35]。W.J.Freeman教授在其自己的脑科学著作《How Brains Make Up Their Minds？》
[0002]
[20]
中得出结论：“大脑的很多其他部分具有混沌吸引子和多个翼，且它们的EEG的稳定性表明它们极其健壮。混沌动力学提供具有理想特性的基础状态，......，混沌产生用于创造新的尝试错误法学习和用于在吸收新刺激时创建新的盆而所需的无序”。
3
CN 102982372 A[0006]
说 明 书
2/18页
根据这一有挑战性的神经科学理论，研究人员提出了各种混沌神经元模型来模拟
这些混沌神经现象[13][19][31][53][63][64]。但是，大多数这些基于Hodgkin和Huxley[25][26][29]或Wilson和Cowan[65]的种子模型的混沌神经元模型太复杂而无法用于人工神经网络，或者太简化而无法重现令人满意的混沌现象[2][4][12][53][58][59]。 [0007] 混沌神经元振荡器概述[0008] 经典的人工神经网络(ANN)由模拟生物神经活动的简单的人工神经元构成。神经科学和神经生理学的最新研究对诸如海马的机能特点[8][20]、龙虾的幽门中枢模式发生器[32]
和其它脑活动[46]等问题进行了分析，并相应建立了神经元模型。但是很多研究为复杂神经元行为中的混沌神经活动提供了强有力的证据 [21][46][70]，因此这些类型的神经元模型由于与理想神经元模型相比太过简单而遭到很多批评。 [0009] 在过去几十年中，提出了很多不同的混沌神经元模型。最新的研究包括：由Falcke等人提出的混沌振荡器[19]，用于对幽门中枢模式发生器进行建模；由Hoshine等人提出的皮层网络[31]，用于回忆长期记忆(LTM)；由Chen和Aihara提出的瞬时混沌神经网络(TCNN)[13]，用于处理组合优化问题；Wang振荡器 [63][64]，用于时空信息处理；以及基于混沌退火技术的研究(Zhou等人[71])，用于动态模式恢复。 [0010] 从系统架构角度而言，大多数混沌神经网络模型基于从Hodgkin和Huxley于1952年提出的理论研究发展而来的计算神经科学模型[29]。这些计算神经科学模型聚焦于脉冲神经动态行为，最新的理论进展包括Fukai等人[25][26]和Aihara等人[2][3][4]的研究工作。神经科学的另一主要分支聚焦于神经元集群的行为，其中著名的模型包括由Wilson和Cowan
Wilson和Cowan将神经元的行为描述为兴奋神经元于1972年提出的神经元振荡模型[65]，
和抑制神经元之间的交互式触发(也称为“振荡”)。实际上，Wilson和Cowan的理论为不同领域(包括神经生理学领域、神经科学领域)中进行的研究工作和脑科学的最新研究 [20]提供了大力支持。该理论还作为认知信息处理领域中[10][53]关于神经元振荡器的同步和失调行为[10][18][27][62]的很多后续研究和模型的基础。最近的应用包括模式和记忆联想[1][4][6][11]、场景分析和模式识别[14][40][41][5]][61][67]。 [0011] 但是，基于这些著名模型(包括Hodgkin-Huxley模型、FitzHugh-Nagumo模型、Wilson-Cowan模型，以及以上模型的派生模型)提出的模型要么太简化而无法模拟任何“真实”的混沌神经元行为，要么太复杂而无法采用作为实际可行的人工神经网络[4][46]。 [0012] 下面以Wang振荡器为例，简要说明现有振荡器的缺陷。Wang振荡器的主要问题例如在于无法作为有效的分岔传递单元(BTU)用于动态记忆编码和模式联想。下面通过描述Wang振荡器的体系结构、其混沌神经动力学和作为BTU用于时间信息编码的构思，说明该问题。
[0013] 从Wilson-Cowan模型演变而来的大多数现有神经元振荡器聚焦于时间连续框架。X.Wang在1991-1992年提出了简单的时间离散神经元振荡器模型(称为Wang振荡器)。与其它时间连续的模型不同，Wang振荡器提供了从固定点(通过准周期)到混沌的简单但显著的神经动力学，如Wang振荡器的分岔图中所示。Wang振荡器的该分岔图可使其用作计算元件BTU，用于时间信息处理。
[0014] 图1示出Wang振荡器的结构示意图。简而言之，Wang振荡器包括两个神经元，即兴奋神经元u和抑制神经元v，神经元u和v之间存在兴奋性耦合和抑制性耦合，且兴奋神
[23][24][27][32][49][50][52]
4
CN 102982372 A
说 明 书
3/18页
经元u自身存在兴奋性自反馈，抑制神经元v自身存在抑制性自反馈。例如，抑制神经元v对兴奋神经元u存在抑制性耦合，向兴奋神经元u提供抑制信号，该抑制信号的传递权重参数为wuv；兴奋神经元u对抑制神经元v存在兴奋性耦合，向抑制神经元v提供兴奋信号，该兴奋信号的传递权重参数为wvu；兴奋性自反馈和抑制性自反馈的权重参数分别为wuu和wvv。兴奋性神经元u和抑制性神经元v分别接收外部输入刺激Iu和Iv。
[0015] 兴奋神经元和抑制神经元的广义神经动力学可分别通过以下公式(1)和(2)给出：
[0016] u(t+1)＝f(wuuu(t)-wuvv(t)+Iu(t)-θu)(1) [0017] v(t+1)＝f(wvuu(t)-wvvv(t)+Iv(t)-θv)(2) [0018] 其中，u(t)和v(t)分别表示时间t时兴奋神经元和抑制神经元的状态值， wij(i，j＝{u，v})为权重参数，Iu和Iv为外部输入刺激，θu为兴奋神经元的阈值，θv为抑制神经元的阈值，而f()表示S形函数(Sigmoid function)，由以下公式(3)给出。 [0019] f(p；μ)＝tanh(μp) (3) [0020] 其中，μ为控制S形函数行为的重要因子。 [0021] 例如，如果wuu＝wuv＝a；wvu＝wvv＝b；θu＝θv＝0，且a≥2b，则不同的μ会产生一系列倍周期分岔，从而导致混沌现象。
[0022] 则这种时间离散的Wang振荡器的神经动力学由可以下公式(4)给出。 [0023] z(t)＝u(t)-v(t) (4) [0024] 在公式(4)中代入公式(1)、(2)和(3)，则Wang振荡器的神经动力学可表示为： [0025] z(t+1)＝tanh[μ[a·z(t)+Iu(t)]]-tanh[μ[b·z(t)+Iv(t)]](5) [0026] 通常，在神经元振荡器中仅抑制神经元受到外部刺激时(即，Iu＝I且Iv＝0)，Wang振荡器的神经动力学可表示为：
[0027] z(t+1)＝tanh[μ[a·z(t)+I]]-tanh[μb·z(t)] (6) [0028] 这种情况下的Wang振荡器称为μ/a/b Wang振荡器。
[0029] 关于Wang振荡器的一个重要发现在于μ/a/b Wang振荡器在不同输入刺激I情况下的分岔行为。图2示出5/1/1Wang振荡器的典型分岔图，可以看出对于符合x＝i+e*sgn(i)的外部刺激没有时滞区域，其中i表示外部刺激，x表示增益。 [0030] 如图2所示，Wang振荡器对外部输入刺激的响应可分成五个区域，即从负的区域A直至正的区域E。这些区域的神经动力学总结如下：区域A和区域E为最外侧区域，表现为典型的S形函数增长，对应于针对输入刺激的周期性响应，区域A和E的端部匹配正切分岔区域。区域B为分岔区域，以反向临界结束。在区域C中，分岔曲线返回到典型的S形曲线，区域C位于吸引子的临界和反向临界之间。区域D为Wang振荡器最为重要的区域，表示“时滞性”区域，与Wang振荡器在小输入刺激情况下的混沌行为对应。
[0031] Wang振荡器的重要发现和贡献在于神经动力学根据输入刺激而变化的特性。在用于信息编码和联想的大多数经典神经网络模型(例如Hopfield网络、SOM、等等)中，网络模型可概括为非线性函数操作符，该函数操作符基于各种输入刺激而改变网络模型的内部状态并根据该非线性传递函数“放出”输出。而Wang振荡器对信息(即，输入刺激)编码并通过改变神经动力学的行为(从混沌状态到S形增长)而提供响应，这与有关脑部如何处理信息的最新发现一 致。在模式联想问题中，当施加刺激且该刺激较小时，网络输出不
5
CN 102982372 A
说 明 书
4/18页
仅小，而且无序，这意味着在神经元集群中有潜在的复杂且非周期性的神经活动。但是，当输入刺激增加到特定水平时，抑制神经元和兴奋神经元中的神经动力学变得有周期性，这也导致神经元集群中的锁相行为。换而言之，使用Wang振荡器的信息处理模型可理解为神经元集群在信息编码和/或模式联想时的同步行为。这也与实际中关于脑部的信息处理模型一致。
根据上述显著特征，Wang振荡器可沿两个方向加以利用：a)根据Wang振荡器的显
著分岔特性，Wang振荡器可用作“混沌增长”传递函数(即，分岔传递单元BTU)，与经典的传递函数如S形函数相比，Wang振荡器的分岔图中示出的混沌-周期性行为可在各种输入刺激下作为传递函数混沌至周期性增长的新的选择；b)神经元模型自身可直接用作用于时间信息处理(包括动态信息编码和模式联想)的动态神经元单元。 [0033] 但是，Wang振荡器在模型分岔行为方面存在一些重要限制，使其无法用作有效的BTU或者时间信息处理模型。如上所述，关于Wang振荡器在不同区域中的神经动力学，首先，在区域B中存在不希望出现的混沌区域，该混沌区域不仅影响BTU的连续性，而且破坏BTU的原有函数，即模拟脑部的时间信息处理的函数，在混沌区域中，混沌动力学仅在外部输入刺激较小时出现，而当输入刺激变得足够强时，神经动力学会转变为“稳定”模式；其次，尽管当输入刺激较小时(即，在区域D中时)在神经动力学中存在混沌行为，但是，为了采用振荡器作为现实中有效的传递单元(即，BTU)，该振荡器的神经动力学从周期性行为变化为混沌行为应当是渐变而连续的；再次，当Wang振荡器用作BTU时，在非混沌区域中具有单个状态，或者在混沌区域中具有多个状态。但是，如图2中的分岔图所示，在单个Wang振荡器中，在分岔动力学中具有稳定的静止状态(即，Z＝0)，这也使得振荡器无法有效用作BTU或者用于时间信息编码。
[0034] 因此需要新的神经元振荡器模型，以更真实地模拟脑部的信息处理模型，有效地用在BTU或者时间信息编码。
[0032]
发明内容
本发明是发明人对记忆处理的动态神经模型(即Elastic Graph Dynamic Link
Model，简称EGDLM)和用于场景分割(例如视觉对象识别)的复合神经元振荡器的研究的延伸。
[0036] 在本发明中，发明人提出了一种新的瞬时混沌神经元振荡器(下文中称为 “Lee振荡器”，即Lee-oscillator)以提供时间神经编码和信息处理方案，特别是基于混沌的时间神经编码和信息处理模型。针对Wang振荡器在用作分岔传递单元BTU进行时间信息(记忆)编码时遇到的一些重大问题，Lee振荡器提供了可行的解决方案。利用Lee振荡器关于记忆联想的能力，本发明还提出了基于Lee振荡器构建的混沌自联想网络(即，瞬时混沌自联想网络，简称TCAN)。
[0035]
诸如Hopfield网络等传统的自联想器提供“与时间无关”的模式联想。而与传统的自联想器不同，本发明的TCAN以Lee振荡器作为基本的神经元结构，该TCAN在瞬时混沌记忆联想期间提供显著的渐变式记忆联想方式(本文中称为“渐变式回忆”，简称PMR)，该方式与关于动态回忆方式的精神病学和感知心理学最新研究及其吻合，类似于“渐变式构造性回忆方式”。
[0037]
6
CN 102982372 A[0038]
说 明 书
5/18页
根据本发明的一方面，所提出的神经元振荡器(即Lee oscillator)包括兴奋神
经元和抑制神经元，兴奋神经元接收来自抑制神经元的抑制性信号，而抑制神经元接收来自兴奋神经元的兴奋性信号，且兴奋神经元和抑制神经元各自存在兴奋性自反馈，另外，本发明神经元振荡器还包括输入神经元和输出神经元，输出神经元接收来自输入神经元的兴奋性信号、来自兴奋神经元的兴奋性信号以及来自抑制神经元的抑制性信号，输入神经元和兴奋神经元分别接收外部输入刺激。 [0039] 特别而言，所述输出神经元接收的兴奋性信号和抑制性信号受到衰减因子作用。 [0040] 特别而言，本发明神经元振荡器的兴奋神经元、抑制神经元、输入神经元和输出神经元的状态变量u(t)、v(t)、s(t)和z(t)分别由如下式(7)、(8)、(9)、(10)表示： [0041] u(t+1)＝f[a1·u(t)+a2·v(t)+I(t)-θu](7) [0042] v(t+1)＝f[b1·u(t)-b2·v(t)-θv] (8) [0043] s(t+1)＝f[I(t)] (9)
[0044]
其中，a1、a2、b1和b2为权重参数；θu和θv分别为兴奋神经元和抑制神经元的阈
值；I(t)为外部输入刺激；k为衰减常量；且函数f( )表示由公式(3)给出的S形函数： [0046] f(p；μ)＝tanh(μp) (3)， [0047] 其中μ为控制S形函数行为的因子。 [0048] 特别而言，上述公式(7)-(10)中k＝500，a1＝5，a2＝5，b1＝1，且b2＝1。 [0049] 根据本发明的另一方面，提出了一种瞬时混沌自联想网络，包括多个本发明的神经元振荡器(即Lee oscillator)，所述多个神经元振荡器中的任一个均与其余神经元振荡器连接。
[0050] 特别而言，该瞬时混沌自联想网络中所述神经元振荡器之间的连接权重wij由式(11)表示：
[0045] [0051]
其中，Np表示所述瞬时混沌自联想网络中存储的模式总数；xip和xjp表示所述瞬时混沌自联想网络中存储的模式。 [0053] 特别而言，在本发明瞬时混沌自联想网络中，
[0052] [0054]
其中，zi(t)表示第i个神经元振荡器的输出神经元的状态变量；M表示所述瞬时混沌自联想网络中神经元振荡器的总数；uj(t)、vj(t)、sj(t)表示所述神经元振荡器中的兴奋神经元、抑制神经元和输入神经元的状态变量；fs()表示由式(3)给出的S形函数： [0056] f(p；μ)＝tanh(μp) (3)。
[0057] 本发明中的Lee振荡器(即Lee oscillator)因其显著的神经动力学而使得能够消除现有振荡器例如Wang振荡器中存在的问题。由于Lee振荡器在其神经动力学方面提供
[0055]
7
CN 102982372 A
说 明 书
6/18页
瞬时混沌渐变式增长，所以克服了Wang振荡器在时间信息编码时以及用作BTU时的缺陷。 附图说明
下面根据附图和实施例对本发明进行详细说明。 [0059] 图1是Wang振荡器的结构示意图；
[0060] 图2是5/1/1Wang振荡器的典型分岔图；
[0061] 图3示出根据本发明一实施例的神经元振荡器模型的示例图； [0062] 图4示出根据本发明一实施例的神经元振荡器模型的分岔图； [0063] 图5和图6分别示出“500/5/5/1”模式Lee振荡器和“5/5/1”模式Wang振荡器在外部刺激线性增加情况下的分岔图； [0064] 图7和图8为“500/5/5/1”模式Lee振荡器和“5/5/1”模式Wang振荡器在正弦曲线外部刺激作用下的分岔图；
[0065] 图9为根据本发明一实施例的瞬时自联想网络中振荡器L1的连接示意图； [0066] 图10为所存储的由10×10二进制像素栅格编码的四个模式的示意图；
[0067] 图11示出根据本发明一实施例的TCAN在以图10所示模式c作为外部输入时所执行的时空模式联想的示例性序列；
[0068] 图12中的(a)和(b)分别示出Aihara Chaotic自联想器和Wang振荡器以图10所示模式c作为外部输入时所执行的时空模式联想的示例性序列； [0069] 图13中示出测试中所采用的4个“带噪声”的测试模式；
[0070] 图14示出根据本发明一实施例的TCAN在以图13所示四个模式作为外部输入时所执行的时空模式联想的示例性序列；
[0071] 图15示出Aihara Chaotic自联想器在以图13所示四个模式作为外部输入时所执行的时空模式联想的示例性序列；
[0072] 图16示出手写汉字的样本集合；
[0073] 图17示出根据本发明一实施例的TCAN模型所执行的时空手写汉字“回忆”方式的示例性序列；
[0074] 图18示出Yale大学的面部数据库的样本集合；
[0075] 图19示出根据本发明一实施例的TCAN所执行的渐变式面部模式回忆方式的示例性序列；以及
[0076] 图20中的(a)示出Hopfield网络在回忆破碎三角形图案时的非渐变式模式联想方式，而图20中的(b)示出根据本发明一实施例的TCAN在回忆该三角形图案时执行的渐变式回忆。
[0058]
具体实施方式
[0077] 根据本发明的一个实施例，提出了一种新的神经元振荡器模型，即Lee振荡器(Lee oscillator)。下面参考图3和图4描述Lee振荡器模型及其分岔行为。 [0078] 如图3所示，Lee振荡器(即Lee oscillator)包括4个神经元u、v、s和z，分别为兴奋神经元、抑制神经元、输入神经元和输出神经元，其中，兴奋神经元u接收来自抑制神经元v的抑制性信号，而抑制神经元v接收来自兴奋神经元u的兴奋性信号，且兴奋神经
8
CN 102982372 A
说 明 书
7/18页
元u和抑制神经元v各自存在兴奋性自反馈，另外，输出神经元z接收来自输入神经元s的兴奋性信号、来自兴奋神经元u的兴奋性信号以及来自抑制神经元v的抑制性信号，输入神经元s和兴奋神经元u分别接收外部输入刺激。
-kI*I
[0079] 所述输出神经元z接收的兴奋性信号和抑制性信号受到衰减因子e作用。 [0080] 构成Lee振荡器的各神经元的神经动力学可分别由如下式(7)、(8)、(9) 和(10)表示：
[0081] u(t+1)＝f[a1·u(t)+a2·v(t)+I(t)-θu](7) [0082] v(t+1)＝f[b1·u(t)-b2·v(t)-θv] (8) [0083] s(t+1)＝f[I(t)] (9)
[0084]
其中，u(t)、v(t)、s(t)和z(t)分别为兴奋神经元、抑制神经元、输入神经元和输
出神经元的状态变量；f()表示由公式(3)给出的S形函数；a1、a2、b1和b2分别为兴奋神经元和抑制神经元的权重参数；θu和θv为兴奋神经元和抑制神经元的阈值；I(t)为外部输入刺激；且k为衰减常量。
[0085]
与Wang振荡器类似，本发明所述Lee振荡器(即Lee oscillator)最显著的特征在于其在不同外部输入刺激下的分岔行为。图4示出了Lee振荡器典型的500/5/5/1模式的分岔图，在表述“500/5/5/1”中，“500”表示衰减常量k的值，第一个“5”表示a1的值，第二个“5”表示a2的值，“1”表示b1和b2的值。 [0087] 与Wang振荡器不同，单个Lee振荡器的分岔图包括3个主要区域，即区域A、B、C，如图4所示。从神经动力学角度而言，区域A和区域C表示“S形”区域，对应于该神经元振荡器中的非混沌神经活动；而区域B为“时滞”区域，对应于在接收到微弱外部输入刺激时产生的混沌行为区域。
[0088] 结合上述Wang振荡器的主要局限性，Lee振荡器(即Lee oscillator)的分岔图能够明显证明其能够有效解决Wang振荡器的局限性。首先，在Wang振荡器的分岔图中，存在区域B，该区域B不仅影响神经动力学的连续性，而且妨碍脑科学中的信息处理行为(特别是受到刺激时的信息处理行为)，但是如图4所示，Lee振荡器的分岔图中没有这种区域B。其次，在Wang振荡器中，在混沌区域和非混沌区域之间存在神经动力学连续性问题，而Lee振荡器中由于在输出神经元中采用了衰减因子(见公式(10))，所以能够提供从混沌动力学到非混沌动力学真正的渐变。最后，在Lee振荡器的整个分岔曲线中没有多余的“静止”状态。在Lee振荡器中，收到外部刺激时的分岔要么是混沌的，要么是非混沌的，且如S状，具有单一而连续的行为。 [0089] Lee振荡器的应用[0090] 1)Lee振荡器作为基本混沌神经元元件用于时间信息处理[0091] 大体而言，信息处理是信息编码、信息识别和信息区分的总体过程，其中 信息包括例如图像、模式等等。由于单个Lee振荡器(即Lee oscillator)能够根据输入空间提供双状态吸引，因此不仅适合作为用于信息处理的基本元件，而且，根据Lee振荡器独特的混沌特征，神经动力学随着输入信号变化而改变，因此Lee振荡器能够良好地模拟脑科学中的混沌和时间信息处理行为[20][21][49]。 [0092] 图5和图6分别示出“500/5/5/1”模式Lee振荡器和“5/5/1”模式Wang振荡器
[0086]
9
CN 102982372 A
说 明 书
8/18页
在外部刺激线性增加情况下的分岔图，在图5和图6中，线性增益x＝0.1*i+e*sgn(i)，其中i表示外部刺激。图7和图8为这两个振荡器在正弦曲线外部刺激作用下的分岔图，其中，周期性增益x＝0.1*sin(10i)+e*sgn(i)。可以看出，Lee振荡器的分岔行为更好地模拟了混沌BTU以进行信息处理，而且模拟也更合理。对于线性增加的外部刺激，Lee振荡器在接收外部刺激时提供混沌至周期性的振荡，而不是如Wang振荡器提供脱离实际的多个稳定状态。Lee振荡器还提供混沌至周期性的正弦曲线输出，而不是Wang振荡器中出现的不切实际的多个稳定状态。实际上，从应用观点而言，对正弦曲线输入的时间信息处理可用于检测所述输入中的一些周期性结构，或者用于信号处理问题。
[0093] 典型的信息处理情形(例如模式识别)涉及神经元单元集合(称为神经元集群)的信息处理工作，另外还可涉及这些神经元单元的同步操作和失调操作。 [0094] 2)瞬时混沌自联想器[0095] 作为使用Lee振荡器用于信息处理的延伸，可采用二维的Lee振荡器(即Lee oscillator)层作为模式联想器。例如，基于Lee振荡器的瞬时混沌自联想器网络(TCAN)可用于提供新的渐变式记忆联想和回忆方式。 [0096] 3)用于高级应用的混沌神经振荡器单元[0097] 实际上，Lee振荡器(即Lee oscillator)可彼此结合以形成复杂的混沌神经振荡器模型，用于解决复杂问题，例如场景分析和机器人视觉及导航问题。 [0098] 瞬时混沌自联想网络TCAN[0099] 自联想网络是神经网络、信息处理和神经科学领域中最重要的根本应用之一，实际上也是各种复杂信息处理任务例如面部(模式)识别、前景背景分割、场景分割、模式分类、数据挖掘等等的基础。根据本发明的另一实施例，提供了一种使用上述Lee振荡器构成神经框架而构建的二维自联想器。鉴于通过该自联想器的瞬时混沌神经动力学实现了显著的渐变式模式联想机制，该自联想器被称为瞬时混沌自联想网络(TCAN)。 [0100] 以下通过将TCAN与Aihara等人所提出的混沌自联想器、Wang振荡器进行比较，说明TCAN如何提供高效的模式联想方式。此外，还会说明TCAN在 模式联想应用中的渐变式模式(记忆)回忆能力，进一步说明这种能力如何应用于面部图案回忆。 [0101] 在这另一实施例中，将使用Lee振荡器集合作为基本的神经元元件，构成瞬时混沌自联想网络。该瞬时混沌自联想网络包括多个Lee振荡器(即Leeoscillator)，所述多个Lee振荡器中的任一个均与其余Lee振荡器连接。如图9所示，为该瞬时混沌自联想网络中的示意图，其中包括M个Lee振荡器Li，i＝1，...，M，该示意图中为了方便而仅仅示出Lee振荡器L1与其它Lee振荡器L2-LM的连接示意图，但是未示出其它Lee振荡器的全部连接。
[0102] 该瞬时混沌自联想网络的神经动力学可表示如下：
[0103]
[0104] [0105]
即
10
，
CN 102982372 A
说 明 书
9/18页
[0106]
其中，wij表示Lee振荡器之间的连接权重；Np表示TCAN中存储的模式总数；zj表
示第j个Lee振荡器的输出神经元；xip和xjp表示TCAN中存储的模式；M表示TCAN中Lee
振荡器的总数；u、v、s表示Lee振荡器中的兴奋神经元、抑制神经元和输入神经元；fs()表示由公式(3)给出的S形函数；i、j表示Lee振荡器的序号；k为衰减常量。 [0107] 如以上神经动力学公式所示，在出现查询模式(其可认为是外部输入刺激)时，图9所示网络中Lee振荡器的组成神经元之间的交互可认为是自联想。但是，与经典模型不同，本发明中提出的TCAN在出现模式联想时提供不同的神经动力学，尤其是混沌状态与稳定状态之间的转移，这通过下文中提供的实验结果可以看出。 [0108] 系统实现和实验结果
[0109] 下文中通过从实现和系统评估角度将TCAN的混沌自联想行为与Alhara等人提出的混沌自联想网络、Wang振荡器进行比较，说明本发明TCAN技术方案的优势。 [0110] 为了提供公平且透彻的比较，本发明中的实验采用了与Alhara等人、Wang 所使用相同的系统环境和相同的测试模式集合。整个系统的测试分成以下三个部分： A)使用Alhara等人的前期研究[1][4]中描述的四个简单模式的混沌自联想，将TCAN与Aihara模型进行比较；
[0111] [0112]
B)将TCAN模型用于更复杂情况(即，手写汉字识别)的自联想； [0113] C)采用Yale大学面部数据库集合A，进一步说明TCAN在人脸识别时的渐变式回忆能力。
[0114] A)关于简单模式的混沌自联想 [0115] 在本测试中，通过使用与Aihara等人所使用相同的测试模式和系统环境进行系统评估，将TCAN的混沌自联想性能与Aihara等人提出的混沌神经网络进行比较。其中，所存储的四个模式由10×10二进制像素栅格进行编码并示于图10中。 [0116] -参数选择测试
[0117] 在关于未知模式和带噪音模式对TCAN进行测试之前，利用所存储模式的“训练”将系统细调到其最佳瞬时自联想状态。表1示出TCAN模型中使用的最佳参数集。 [0118] 表1
[0119]
[0120] -关于所存储模式的混沌模式联想
11
CN 102982372 A[0121]
说 明 书
10/18页
图11、图12中的(a)和(b)分别示出TCAN模型、Aihara混沌自联想器模型和Wang
振荡器在以存储模式c作为外部刺激时初始50个振荡周期内的网络输出。 [0122] 从图11、图12中的(a)和(b)中可清楚看出，所述三个网络模型通过混沌神经振荡都实现了模式自联想。但是，如图12中(a)所示，Aihara模型在收 到为已知模式(在本实施例中为图10所示模式c)的外部输入时，整个网络模型无稳定状态，而是在不同的存储模式(以及它们的相反模式)之间“振荡”。而且，从关于该网络模型的先前测试中[1][4]以及本发明人的测试中都指出，任一特定模式出现的频率并不与指定为测试模式的已知模式直接相关。而对于Wang振荡器模型则情况更糟，如图12中(b)所示，在采用模式c作为测试模式的情况下，Wang振荡器模型无法回忆起该模式，而是联想到错误的其它已存储模式。在实践中，使用其他已存储模式用于进行测试时也可能出现这种结果。如上所述，其主要原因可能是Wang振荡器用作BTU进行自联想时在其分岔图中的不连续性以及存在多个稳定状态。
[0123] 另一方面，如图11所示，在采用已知模式(例如本实施例中采用模式c)作为外部刺激时，TCAN神经元振荡器在短暂地(在本实施例中为从时间t＝1到t＝6)执行混沌神经振荡之后，会在前几个时间步(在本实施例中为从t＝7到t＝11)之后开始对存储的模式进行“整形”(本文中也称之为“渐变式回忆”，简称PMR)。一旦该TCAN“回忆起”正确的存储模式，则会稳定在稳态。 图11示出TCAN在以模式c作为外部输入时所执行的时空模式联想的示例性序列。图12示出Aihara Chaotic自联想器和Wang振荡器以模式c作为外部输入时所执行的时空模式联想的示例性序列。
[0125] 采用带造声测试模式时的混沌模式联想 [0126] 第二个测试与以上第一个测试类似，但是采用的是带噪声的已存储模式作为输入刺激来测试Aihara Chaotic自联想器、Wang振荡器和TCAN关于模式联想的行为。在图13中示出所采用的4个“带噪声”测试模式(噪声像素例如为总像素的20％以上)。由于Wang振荡器甚至无法回忆起已存储的模式，因此第二个测试仅关注于TCAN和Aihara混沌自联想器之间的比较。
[0127] 图14示出TCAN在以图13所示四个模式作为外部输入时所执行的时空模式联想的示例性序列。
[0128] 图15示出Aihara Chaotic自联想器在以图13所示四个模式作为外部输入时所执行的时空模式联想的示例性序列。 [0129] 从图15中不难发现，在带噪声的存储模式作为输入时，虽然Aihara自联想器在通向已存储模式(以及它们的相反模式)的各种瞬态下持续振荡，但是并未显示该Aihara自联想器联想到(或者回忆起)任一特定的存储模式。但是，如图14所示，在以所述四个带噪声测试模式作为外部刺激时，利用TCAN，能够在10个时间步内成功回忆起所有这四个存储模式。当采用 公司生产的 奔腾IV个人电脑进行仿真时，整个回忆过程所需时间少于1.2秒。
[0124] [0130]
此外，从第二个测试中可以看出，由使用Lee振荡器(即Lee osci1lator)作为构
成部件的TCAN实现的瞬时自联想过程执行“混沌至稳定”自联想行为。在呈现带噪声的已知模式时，TCAN振荡网络首先在前几个时间步中执行混沌模式联想，然后开始在临时输出
12
CN 102982372 A
说 明 书
11/18页
中“重建”正确的存储模式或对其“整形”，指导成功“回忆起”整个模式。这种模式恢复操作与脑科学中发现的渐变式回忆方式非常类似。 [0131] B)手写汉字的渐变式自联想 [0132] 在第三个测试中，针对手写汉字识别这一更复杂的问题来测试TCAN的瞬时混沌自联想性能。由于Aihara模型无法提供令人满意的模式联想结果，因此本测试中将TCAN与本发明人以前采用振荡弹性匹配模型(Oscillatory Elastic Matching Model[45])进行的手写汉字识别进行对比分析。本测试的主要焦点在于字符识别的准确性和系统效率。 [0133] 在第三个测试中，采用3000个手写汉字作为记忆模式。为了保证字库具有代表性，在七个基本笔画关联表(见表2)中，从每一类别中选择一定比例的汉字。图16示出了手写汉字的样本集合。 [0134] 表2
[0135]
在第三个测试中，目标并非在于不变的TCAN系统特性，而在于该系统的PMR能力
及其关于模式联想的效率。表3示出了在向TCAN呈现具有不同百分比噪声的输入模式时对已存储模式的正确识别率，并与之前关于NOEGM模型的研究进行对比。 [0137] 表3为TCAN模型和NOEGM模型的手写汉字识别性能。 [0138] 表3
[0136] [0139]
[0140]
如表3所示，TCAN模型的性能相比NOEGM模型高出2％(对于所存储的模式本身，
无噪声)，在具有30％噪声的模式下高出15.7％，且对于这3000个手写汉字而言，正确识别
13
CN 102982372 A
说 明 书
12/18页
率高于72％。该优势归因于上文中所述的TCAN模型的PMR能力。图17示出TCAN模型如何针对带噪声的手写汉字而提供高效的PMR。 [0141] C)关于人脸的渐变式回忆 [0142] 在第四个测试中，验证关于人脸的渐变式回忆，其中采用了Yale大学数据库(集合A)，该数据库包含15位个人的具有不同角度且具有不同面部表情的面部图像，包括：正脸、侧脸、鬼脸、严肃的脸，等等。在本测试中，采用如图18所示的Yale大学面部数据库的样本集合，将TCAN与以下两个模型进行比较：本发明人以前研究过的NOEGM系统和Wiskott等人提出的增强型DLA系统，测试结果列于表4中。图19示出TCAN在回忆面部模式时的渐变式回忆方式。 [0143] 表4
[0144]
*：正确识别率为正确识别数与识别总数之比
[0146] 在识别率方面，TCAN在正脸识别时能够提供所期望的识别结果。由于TCAN的渐变式回忆特性，TCAN对于鬼脸识别和严肃的脸的识别也具有合理的识别性能。 [0147] 而且，本测试中TCAN的识别速度非常快。由于TCAN是结构简单的混沌神经自联想网络，所以在总体识别速度上分别为NOGEM模型和增强型DLA模型的127倍和307倍。之所以能够实现如此大的优势，主要是因为TCAN在识别这些模式时巧妙的特征向量选择和这些特征向量的动态链路相关。
[0148] Lee振荡器和TCAN对生物和心理学的指导
[0149] Lee振荡器(即Lee oscillator)和TCAN的主要贡献之一在于其对生物和神经科学的指导。关于视觉心理学和神经科学的最新研究工作强烈暗示着在人脑活动中存在混沌动力学，所述人脑活动包括记忆联想、视觉对象识别、场景分割等等。而且，关于视觉心理学和精神病学的最新研究已指出：人们的记忆联想和回忆工作并非是“量子跃迁”(即，要么为“回忆起”，要么为“未回忆起”)的，而是“渐变式回忆(重构)方式”类型，在记忆力缺陷病人身上发现这种“渐变式回忆(重构)方式”。Lee振荡器(即Lee oscillator)和TCAN系统的分岔图和测试表明，Lee振荡器提供了用于对累积式学习中的混沌神经活动建模的理想框架，而使用Lee振荡器作为神经元部件的TCAN提供了用于对渐变式回忆(和联想)方式建模的理想方案。
[0150] 下面将相对于传统自联想网络如Hopfield网络所进行的“量子跃迁”回忆方式，使用基于Lee振荡器(即Lee oscillator)的TCAN进一步说明渐变式模式联想方式。图20
[0145]
14
CN 102982372 A
说 明 书
13/18页
中的(a)示出Hopfield网络在回忆三角形图案(即图10所示模式(b))时的非渐变式模式联想方式，而图20中的(b)示出TCAN在回忆该三角形图案时执行的渐变式回忆，但是，所述三角形图案是不完整的，仅有几个锐角能够显示出该三角形图案的三个角形状。如图20所示，Hopfield网络在大约4个时间步内“量子跃迁”到不正确的模式c，而TCAN在大约10个时间步内通过渐变式模式回忆而回忆起正确的图案。实际上，从视觉心理学角度而言，该测试结果是对视觉Gestalt理论[72]极好的模拟，该Gestalt理论指出：感知是能够超越由刺激所提供的信息的构建过程，或者换而言之，在对象识别中使用的特征(例如像素图案)不是仅限于原始输入的特征，而是人对所有输入信息的组织化感知中的特征。在本测试中，尽管不完整的三角形图案未能为“经典的”自联想提供足够的信息，但是，TCAN能够提供类似构建过程的方式，通过瞬时混沌振荡过程“重建”正确的模式。换而言之，TCAN为高级信 息编码和联想提供新的思路。
[0151] 上文中提供了对本发明的具体描述以用于进行阐述和说明，但并非要穷举或者将本发明限于所公开的精确形式。根据以上教导，可实现很多修改和变型。上述实施例被选取用于最佳地解释本发明的原理及其实际应用，从而使得本领域技术人员能够以不同的实施例并利用适于特定预期用途的不同变型来最佳地利用本发明。本发明的范围要由所附权利要求来定义。 [0152] 参考文献
[0153] [1]M.Adachi和K.Aihara，“Associative Dynamics in a Chaotic Neural Network，”Neural Networks，vol.10，no.1，pp.83-98，1997. [0154] [2]K.Aihara和G.Matsumoto，“Forced Oscillations and Route to Chaos in the Hodgkin-Huxley Axons and Squid Giant Axons，”In H.Degn，A.V.Holden&L.F.Olsen(eds)Chaos in Biological Systems，纽约：Plenum，pp.121-131，1987. [0155] [3]K.Aihara和G.Matsumoto，“Chaotic Oscillations and Bifurcations in Squid Giant Axons，”A.V.Holden(ed.)Chaos，Manchester University Press，pp.257-269，1986. [0156] [4]K.Aihara，“Chaos in Neural Networks，”The Impact of Chaos on Science and Society，pp.110-126，United Nations University Press，1997. [0157] [5]D.L.Alkon，K.T.Blackwe1l，G.S.Barbour，S.A.Werness and T.P.Vogl，“Biological Plausibility of Synaptic Associative Memory Models，”Neural Networks，vol.7，no.6/7，pp.1005-1017，1994. [6]J.A.Anderson，“A Simple Neural Network Generating Interactive Memory，”Mathematical Biosciences，vol.14，pp.197-220，1972. [0159] [7]A.M S.Barry，Visual Intelligence：Perception，Image，and Manipulation inVisual Communication，1997. [0160] [8]T.W.Berger，G.Chauvet和R.J.Sclabassi，“A Biologically Based Model of Functional Properties of the Hippocampus，”Neural Networks，vol.7，no.6/7，pp.1031-1064，1994.
[0161] [9]D.Bibitchkov，J.M.Herrmann和T.Geisel，“Effects of Short-time Plasticity on the Associative Memory，”Neurocomputing，vol.44-46，pp.329-335，
[0158]
15
CN 102982372 A
说 明 书
14/18页
2002.
[10]S.Campbell和D.Wang，“Synchronization and Desynchronization in a
Network of Locally Coupled Wilson-Cowan Oscillators，”IEEE Trans.On Neural Networks，vol.7，no.3，pp.541-554，1996. [0163] [11]S.V.Chakravarthy和J.Ghosh，“A Complex-valued Associative Memory for Storing Patterns as Oscillatory States，Biological Cybernetics，vol.75，pp.229-238，1996.
[0164] [12]L.Chen和K.Aihara，“Chaos and Asymptotical Stability in Discrete-time Neural Networks，”Physica D，vol.104，pp.286-325，1997. [0165] [13]L.Chen和K.Aihara，“Chaotic Stimulated Annealing by a Neural Model with Transient Chaos，”Neural Networks，vol.8，no.6，pp.915-930，1995. [0166] [14]K.Chen和D.Wang，“A Dynamically Coupled Neural Oscillator Network for Image Segmentation，”Neural Networks，vol.15，pp.423-439，2002. [0167] [15]A.C.C.Cheng和L.Guan，“A Combined Evolution Method for Associative Memory Networks，”Neural Networks，vol.11，pp.785-792，1998.
[0162]
[16]J.Chey，J.Lee，Y.S.Kim，S.M.Kwon和Y.M.Shin，“Spatial Working Memory Span，Delayed Response and Executive Function in Schizophrenia，”Psychiatry Research，vol.110，pp.259-271，2002. [0169] [17]K.M.Cuomo，A.V.Oppenheim和S.H.Strongatz，“Synchronization of Lorenz-based Chaotic Circuits with Applications to Communications，”IEEETrans.On Circuits and Systems II：Analog and Digital Signal Processing，vol.40，no.10，pp.626-633，1993.
[0170] [18]A.K.Engel，P.Konig，A.K.Kreiter，W.Singer，“Synchronization of Oscillatory Neuronal Response between Striate and Exstriate Visual Cortical Areas of the Cat，”Proc.National Acad.Science USA，vol.88，pp.6048-6052，1991. [0171] [19]M Falcke，R.Huerta，M.I.Rabinovich，H.D.I.Abarbanel，R.C.Elson and A.I.Selverston，“Modeling Observed Chaotic Oscillators in Bursting Neurons：The Role of Calcium Dynamics and IP3，”Biological Cybernetics，vol.82，pp.517-527，2000.
[0172] [20]W.J.Freeman，How Brains Make Up Their Minds，Columbia University Press，New York，2001.
[0173] [21]W.J.Freeman，“A Proposed Name for Aperiodic Brain Activity：Stochastic Chaos，”Neural Networks，vol.13，pp.11-13，2000. [0174] [22]W.J.Freeman“，Tutorial on Neurobiology：From Single Neurons to Brain Chaos，”International Journal of Bifurcation and Chaos，vol.2，pp.451-482，1992. [0175] [23]W.J.Freeman，“Simulation of Chaotic EEG Patterns with a Dynamic Model of the Olfactory System，”Biological Cybernetics，vol.56，pp.139-150，1987.
[0168] [0176]
[24]W.J.Freeman，“Nonlinear Dynamics of Palecortex Manifested in the Olfactory EEG，”Biological Cybernetics，vol.35，pp.1177-1179，1979.
16
CN 102982372 A[0177]
说 明 书
15/18页
[25]H.Fukai，S.Doi，T.Nomura，S.Sato，“Hopf Bifurcatiohs in
Multiple-parameter Space of the Hodgkin-Huxley Equations I：Global Organization of Bistable Periodic Solutions，”Biological Cybernetics，vol.82，pp.215-222，2000. [0178] [26]H.Fukai，T.Nomura，S.Doi 和S.Sato，“Hopf Bifurcations in Multiple-parameter Space of the Hodgkin-Huxley Equation II：Singularity Theoretic Approach and Highly Degenerate Bifurcations，”Biological Cybernetics，vol.82，pp.223-229，2000. [0179] [27]C.M.Gary，P.Konig，A.K.Engel，W.Singer，“Oscillatory Responses in Cat Visual Cortex Exhibit Intercolumnar Synchronization which Reflects Global Stimulus Properties，”Nature，vol.338，pp.334-337，1989. [0180] [28]H.Haken，Principles of Brain Functioning：A Synergetic Approach to Brain Activity，Behavior and Cognition，Springer-Verlag Berlin，Heidelberg，New York，1996.
[0181] [29]A.L.Hodgkin，A.F.Huxley，“A Quantitative Description of Membrane Current and Its Application to Conduction and Excitation in the Nerve，”J.Physiol(London)，vol.117，pp.500-544，1952. [30]J.J.Hopfield，“Neural Networks and Physical Systems with Emergent Collective Computation Ability，”Proceedings of National Academy of Science，USA，79，pp.2445-2558，1982. [0183] [31]O.Hoshino，M.Zheng，K.Kuroiwa，“Roles of Dynamic Linkage of Stable Attractors Across Cortical Networks in Recalling Long-term Memory，”Biological Cybernetics，published online：20January，2003.
[0184] [32]R.Huerta，P.Varona，M.I.Rabinovich and H.D.I.Abarbanel，“Topology Selection by Chaotic Neurons of a Pyloric Central Pattern Generator，”Biological Cybernetics，vol.84，pp.L 1-L8，2001. [0185] [33]S.Ishii，K.Fukumizu和S.Watanabe“，A Network of Chaotic Elements for Information Processing，”Neural Networks，vol.9，no.1，pp.25-40，1996. [0186] [34]G.Jakimoski和L.Kocarev，“Chaos and Cryptography：Block Encryption Ciphers Based on Chaotic Maps，”IEEE Trans.On Circuits and Systems I：Fundamental Theory and Applications，vol.48，no.2，pp.163-169，2001. [0187] [35]J.Jeong，M.K.Joung和S.Y.Kim，“Quantification of Emotion by Nonlinear Analysis of the Chaotic Dynamics of Electroencephalograms During Perception of 1/f Music，”Biological Cybernetics，vol.78，pp.217-225，1998. [0188] [36]J.M.Karlholm，“Associative Memories with Short-range，Higher Order Couplings，”Neural Networks，vol.6，pp.409-421，1993. [0189] [37]T.Kohenon，Self-organization and Associative Memory(2nd ed)，Berlin：Springer-Verlag，1988.
[0182]
[38]T.Kohenon，“Correlation Matrix Memories，”IEEE Trans.On Computers，C-21，pp.353-359，1972.
[0190]
17
CN 102982372 A[0191]
说 明 书
16/18页
[39]R.S.T.Lee和J.N.K.Liu，Invariant Object Recognition Based on Elastic
Graph Matching：Theory and Applications，IOS Press，2003. [0192] [40]R.S.T.Lee，“iJADE Surveillant-An Intelligent Multi-resolution Composite Neuro-Oscillatory Agent-based Surveillance System，”Pattern Recognition，vol.36，pp.1425-1444，2003. [41]R.S.T.Lee和J.N.K.Liu，“Scene Analysis using an Integ-rated Composite Neural Oscillatory Elastic Graph Matching Model，”Pattern Recognition，vol.35，pp.1835-1846，2002. [0194] [42]R.S.T.Lee，“Elastic Face Recognizer：Invariant Face Recognition based on Elastic Graph Matching Model″，International Journal of Pattern Recognition and Artificial Intelligence(IJPRAI)，vol.16，no.4，pp.463-479，2002. [0195] [43]R.S.T.Lee和J.N.K.“，NORN Predictor-Stock Prediction using a Neural Oscillatory-based Recurrent Network，”International Journal of Computational Intelligence and Applications，vol.1，no.4，pp.439-451，2001. [0196] [44]R.S.T.Lee和J.N.K.Liu，“Tropical Cyclone Identification and Tracking System using Integrated Neural Oscillatory Elastic Graph Matching and HybridRBF Network Track Mining Techniques，”IEEE Transaction on Neural Network，vol.11，no.3，pp.680-689，2000.
[0197] [45]R.S.T.Lee和J.N.K.Liu“，An Oscillatory Elastic Graph Matching Model for Recognition of Offline Handwritten Chinese Characters，”In Proceedings of the Third International Conference on Knowledge-Based Intelligent Information Engineering Systems(KES’99)，pp.284-287，Australia，1999. [0198] [46]Australia.K.Lehnertz，J.Arnhold，P.Grassberger and C.E.Elger(eds)，Chaos in Brains，World Scientific，2000. [0199] [47]C.Y.Liou和S.K.Yuan“，Error Tolerant Associative Memory，”Biological Cybernetics，vol.81，pp.331-342，1999. [0200] [48]W.Maass和H.Markram，“Synapses as Dynamic Memory Buffers，”Neural Networks，vol.15，pp.155-161，2002.
[0201] [49]C.von der Malsburg，“The Correlation Theoryof Brain Function，”Techhical Report 81-2，Max Planck Institute for Biophysical Chemistry，Gittingen，Germany，1981.
[0193]
[50]C.von der Malsburg，“Nervous Structures with Dynamical Links，”Berichte der Bunsengesellschaft for Physical Chemistry，vol.89，pp.703-710，1985.
[0203] [51]C.von der Malsburg，J.Buhmann，“Sensory Segmentation with Coupled Neural Oscillator，”Biological Cybernetics，vol.67，pp.233-246，1992.
[0204] [52]V.Menon，W.J.Freeman，B.A.Cutillo，J.E.Desmond，M.F.Ward，S.L.Bressler，K.D.Laxer，N.Barbaro 和A.S.Gevins，“Spatio-temporal Correlations in Human Gamma Band Electrocorticograms，”Electronencephalography and clinical
[0202]
18
CN 102982372 A
说 明 书
17/18页
Neurophysiology 98，pp.89-102，1996. [0205] [53]A.A.Minai和T.Anand，“Stimulus-induced Bifurcations in Discrete-time Neural Oscillators，”Biological Cybernetics，vol.79，pp.87-96，1998. [0206] [54]M.Morita，“Associative Memory with Nonmonotone Dynamics，”Neural Networks，vol.6，pp.115-126，1993. [55]G.Parodi，S.Ridella和R.Zunino，“Using Chaos to Generate Keys for Associative Noise-like Coding Memories，”NeuralNetworks，vol.6，pp.559-572，1993. [0208] [56]J.Triesch和C.von der Malsburg，“A System for Person-Independent Hand Posture Recognition against Complex Backgrounds，”IEEE Trans.on Pattern Analysis and Machine Intelligence，vol.23，no.12，pp.1449-1453，2001. [0209] [57]J.Triesch和C.von der Malsburg，“Robotic Gesture Recognition，”In Proceedings of the 2nd Conference on Automatic Face and Gesture Recognition’96，pp.170-175，1996.
[0210] [58]I.Tsuda，“Dynamic Link of Memory：Chaotic Memory Map in Nonequilibrium Neural Networks，”Neural Networks，vol.5，pp.313-326，1992. [0211] [59]P.Varona，J.J.Torres，H.D.I.Abarbanel，M.I.Rabinovich和R.C.Elson，“Dynamics of Two Electrically Coupled Chaotic Neurons：Experimental Observations and Model Analysis，”Biological Cybernetics，vol.84，pp.91-101，2001. [0212] [60]C.Wagner和J.W.Stuck，“Construction of an Associative Memory using Unstable Periodic Orbits of a Chaotic Attractor，”Journal Theor.Biol.，vol.215，pp.375-384，2002.
[0213] [61]D.L.Wang&D.Terman，“Image Segmentation based on Oscillation Correlation，”Neural Computation，vol.9，pp.1623-1626，1997. [0214] [62]D.L.Wang和D.Terman，“Locally Excitatory Globally Inhibitory Oscillator Networks，”IEEE Trans.on Neural Networks，vol.6，pp.283-286，1995. [0215] [63]X.Wang，“Discrete-time Neural Networks as Dynamical Systems，”PhD Dissertation，University of Southern California，1992. [0216] [64]X.Wang，“Period-doublings to Chaos in a Simple Neural Network：An Analytic Proof，”Complex Systems，vol.5，pp.425-441，1991.
[0207]
[65]H.R.Wilson和J.D.Cowan，“Excitatory and Inhibitory Interactions in Localized Populations，”Biophys.Journal，vol.12，pp.1-24，1972. [0218] [66]L.Wiskott，J.M.Fellous，N.Kruger和C.von der Malsburg，“Face Recognition by Elastic Bunch Graph Matching，”IEEE Trans.on Pattern Analysis and Machine Intelligence，vol.19，no.7，pp.775-779，1997. [0219] [67]Y.Yamaguchi和H.Shimizu，“Pattern Recognition with Figure-ground Separation by Generation of Coherent Oscillations，”Neural Networks，vol.7，no.1，pp.49-63，1994.
[0220] [68]Y.Yao和W.J.Freeman，“Model of Biological Pattern Recognition with Spatially Chaotic Dynamics，”Neural Networks，vol.3，pp.153-170，1990.
[0217]
19
CN 102982372 A[0221]
说 明 书
18/18页
[69]S.Yoshizawa，M.Morita和S.Amari，“Capacity of Associative Memory
using a Nonmonotonic Neuron Model，”Neural Networks，vol.6，pp.167-176，1993. [0222] [70]G.Yunfan，X.Jianxue，R.Wei，H.Sanjue和W.Fuzhou，“Determining the Degree of Chaos from Analysis of ISI Time Series in the Nervous System：A Comparison Between Correlation Dimension and Nonlinear ForecastingMethods，”Biological Cybernetics，vol.78，pp.159-165，1998. [0223] [71]C.S.Zhou和T.L.Chen，“Chaotic Neural Networks and Chaotic Annealing，”Neurocomputing，vol.30，pp.293-300，2000. [0224] [72]I.E.Gordon，Theory of Visual Perception，Wiley，1997. [0225] [73]J.Piaget，The Psychology of Intelligence，TJ International Ltd，Padstow，Cornwall，1950。
20
CN 102982372 A
说 明 书 附 图
图1
21
1/13页
CN 102982372 A
说 明 书 附 图
2/13页
图2
图3
22
CN 102982372 A
说 明 书 附 图
3/13页
图4
23
CN 102982372 A
说 明 书 附 图
图5
图6
24
4/13页
CN 102982372 A
说 明 书 附 图
5/13页
图7
25
CN 102982372 A
说 明 书 附 图
图8
图9
26
6/13页
CN 102982372 A
说 明 书 附 图
图10
图11
27
7/13页
CN 102982372 A
说 明 书 附 图
图12
28
8/13页
CN 102982372 A
说 明 书 附 图
9/13页
图13
图14
29
CN 102982372 A
说 明 书 附 图
10/13页
图15
30
CN 102982372 A
说 明 书 附 图
11/13页
图16
图17
图18
31
CN 102982372 A
说 明 书 附 图
图19
32
12/13页
CN 102982372 A
说 明 书 附 图
13/13页
图20
33
因篇幅问题不能全部显示，请点此查看更多更全内容