国家自然科学基金(No.69772002)资助课题 本文提出离散协同神经网络.其动态迭代公式为, ξ_k(n+1)-ξ_k(n)=γ(λ_k-D+Bξ²_k(n))ξ_k(n) (4) D=(B+C) ∑ k'  ξ²_k'(n) (5) 式中,γ＞0为识别过程的迭代步长.离散协同神经网络的稳定性将主要取决于γ的大小,本文将在第三节中详细讨论. 第 1 期 赵 同:协同式神经网络的识别性能分析 电 子 学 报 2000年 3 离散协同神经网络 Haken^[5]提出在协同系统中,神经网络的动力学过程,不再是单个神经元之间的相互作用,而是作为整个网络的不同宏观状态的原型模式之间竞争的结果. 3.1 稳定性分析 文献 分别从权矩阵特征值非负及势函数的稳定最小点等方面详细讨论了连续协同神经网络具有全局稳定性,本文不再赘述.建立在连续协同网络基础上的离散协同网络的稳定性与该网络的迭代步长有很大关系.步长过大,会导致各个序参量的变化过于剧烈,而偏离原来的稳定轨道,使网络呈发散状态,导致系统无法完成识别功能(如图1(a)所示).通常说来,只要步长取得足够小,就能保证系统收敛,而从下面分析看出,序参量ξ_k的变化范围及几何分布情况随着原型模式与待识别模式的变化有很大差异,要想找到一个在任何情况下都能保证系统稳定收敛的固定步长将很困难,即便能够满足要求,其识别速度及效率也将大幅度降低.为了避免在训练过程中不至于出现太大的竞争波动,本文提出一种自适应的调整学习步长γ的方法,保证离散协同神经网络快速、稳定收敛. 图1 序参量演化曲线 用于协同神经网络的原型向量及试验向量均首先归一化,即有‖ q ‖=‖ v _k‖=1,(k=1,2,…,p).λ_k为对各个识别模式的注意强度,不失一般性,令λ_k=λ.因此|ξ_k|=| v ⁺_k· q |‖ v ⁺_k‖· ‖q‖ =‖ v ⁺_k‖,而‖ v ⁺_k‖=‖ v ⁺_k‖*‖ v _k‖‖ v ⁺_k· v _k‖=1,所以|ξ_k|可以取任意值.(1)若D＜λ,由式(4)知,Δξ_k(n)=ξ_k(n+1)-ξ_k(n)的符号与ξ_k(n)的符号相同,有|ξ_k(n+1)|＞|ξ_k(n)|,ξ_k(n)呈增长趋势;(2)若D＞λ,则Δξ_k(n)在(- D-λ , D-λ )上与ξ_k(n)符号相反.由于式(4)关于ξ_k(n)奇对称,故以下仅讨论ξ_k(n)＞0的情形.?若ξ_k(n)＜ D-λ ,则ξ_k(n+1)向减小方向变化;?若ξ_k(n)＞ D-λ ,则ξ_k(n+1)向增大方向变化. 只要能够保证所有满足条件(ⅰ)的^ⅰξ_k(n+1)趋向于0,则满足条件(ⅱ)的 ⅱξ_k(n+1)将收敛于 D-λ ,且有ξ_k(∞)= λ B+C-1 ,则欲使^ⅰξ_k(n+1)其平衡稳定点为0,应有 |^ⅰξ_k(n+1)|＜ξ_k(n),即 -ξ_k(n)＜γ(λ_k-D+Bξ²_k(n))ξ_k(n)＜ξ_k(n),解得 0＜γ＜ 2 D-(λ+ξ²_k(n)) (6a) 该系统应对每一模式均收敛,当ξ²_k(n)取最小值0时,亦应收敛,则 0＜γ＜2/(D-λ) (6b) 图1(b)中,取γ=1/D得到稳定快速的序参量收敛曲线.由图可知,当学习速度固定时,序参量的演化很可能由于步长过大而呈发散状态;当迭代步长取为序参量平方和的反函数时,训练开始时D较小,则步长γ较大,有利于提高序参量的竞争速度,随着训练的进行,逐渐降低γ,对该类模式的代表向量作较细微的修改,保证在训练结束时得到精确结果.该离散神经网络的动态识别过程是自适应的,不论初始序参量平方和的大小,能够根据原型模式及不同待识别模式调整迭代步长,大大加快了识别进程.至此,导出离散神经网络绝对稳定的充分条件. 3.2 识别率 协同网络构造的势函数及其动力学过程使得该网络的各稳定不动点都在各个原型向量上,而没有其它稳定不动点.如果在一开始|ξ_k0|就大于其它的任何一个|ξ|,则动力学将这个系统拉到稳定不动点ξ_k0=1,其它全部的ξ_k=0.将原型模式 v _k0加入均值为0,方差为σ²_s的高斯噪声信号形成实验模式 q ,则模式k₀误判为模式k的概率为^[6] P_es= 1 σ_s 2π(C²_k0+C²_k) ∫ 0_-∞e^{- (t-1)2 (2σ_s)2} dt=1-Φ( 1 σ_s 2π(C²_k0+C²_k) ) (7) 其中,Φ(x)= 1 2π ∫^x_-∞e^{- t2 2} dt,且Φ(x)＜1,C_k=‖ v ⁺_k‖为伴随向量的模值.由上式可知,欲使误判概率越大,则要求伴随向量具有较小的模值.同理,模式k₀正确识别的概率 P_s= Φ( 1 σ_s 2π(C²_k0+C²_k) ) ]^p-1,k≠k₀ (8) 在模式识别和联想记忆理论中所讨论的绝大多数模型都是由各个离散的神经元组成的神经网络,神经元状态的改变依赖于突触强度和网络中其它神经元的状态,传统神经网络试图通过匹配突触连接和各个神经元的状态,完成特定的任务,其对整个模式的正确识别即要求每个神经元均能正确识别,其识别率为每个神经元正确识别率的N次方,传统网络的整个模式输出绝大部分正确的概率P_h极小,因此该网络存在大量的伪状态,且吸引域较小,不利于识别,实际试验也证实了这个不足之处;而样本向量的个数p通常小于向量的维数N,协同神经网络的识别率P_s将会远大于传统网络的识别率. 4 网络的学习、识别过程比较 4.1 网络的学习与训练 为了进一步比较传统神经网络与协同网络的识别性能,本文选取了与协同神经网络构造机理最为相似的Hopfield神经网络作为比较对象.选取36张情况各异的汉字256级灰度图像作为原型向量(图2),并对其进行编号,再经数字化处理为20×30的像素,其中后7个为实际图像中截取下来的真实图像,它与前29个灰度图像一起作为原型模式进行训练.实验中,我们将每个灰度图像矩阵堆叠成600个像素的向量 v _k,并求取相应的伴随向量 v ⁺_k(图3)进行训练及识别. 图2 原型模式 图3 原型模式所对应的伴随向量 4.2 识别 表1中第1列的实验图像由两类灰度图像组成,前5个实验图像是经过对原型图像加噪、缺损等处理后的灰度图像;后两个实际拍得的真实图像.这两类图像各有特点,一般灰度图像变化丰富、随意,而实际图像背景复杂、字型有变化,这两类图像相结合,能更有效地检验识别特性.Hopfield网络与协同网络的识别结果如表1所示.由表1识别结果比较可以看出,协同神经网络对于加噪、缺损及运动模糊图像均能够快速准确地识别,并能同时给出识别的原型向量的编号,具有很强的鲁棒性,同时,整个识别结果显示协同神经网络不存在伪状态;Hopfield网络对于复杂干扰图像无法立即得出结果,必须采用一定的度量手段.本文采取了识别结果与原型向量的最小欧氏距离度量法来判断识别结果(如表2所示). 表1 Hopfield神经网络与协同神经网络识别结果比较 注:实验图像所受干扰如下:1.加入灰度值为(0,255)的均匀噪声;2.空域缺损;3.运动模糊;4.微量平移;5.综合情况;6-7.实际图像. 表2 Hopfield神经网络最终识别结果 由表2知,HNN对两种灰度图像的识别结果均不理想,说明存在大量稳定的伪状态,不能保证获得理想的最优解. 4.3 比较 实验表明,协同神经网络较传统神经网络在实际应用中有如下优点:(1)模式训练时间短.在Pentium 233MHz上,采用SNN对36个原型样本进行训练仅需8秒左右.而且,若增加新样本,原样本不必重新训练.而采用Hopfield网络,相同情况下,训练时间为20分钟;(2)从空间复杂度来看,HNN的权学习矩阵的维数为W_H=N×N,其中N为图像的像素数,N=600,因此在识别的过程中,自相关矩阵需要O(N²)级的存储空间来实现神经元之间的连接,本实验中空间复杂度将达到兆级字节;相比之下,SNN的权学习矩阵的维数为W_S=N×p,p为图像样本数,p=36,仅需要O(N_p)级的存储空间.通常pN,从存储空间的角度来看,SNN优于自相关学习算法;(3)从时间复杂度来看,传统神经网络每次需要进行O(N²)级次乘法和O(N)级次加法来更新神经元状态;而相同过程,协同网络仅需要O(p²)级次乘法和O(p)级次加法.识别过程中,SNN平均每步迭代所需时间为0.0704秒,而识别出一幅图像一般所需迭代次数小于25次.(4)在复杂背景及噪声环境下,SNN识别方法可靠、鲁棒性强,且不存在伪状态.这是由于协同神经网络的构造方法是自上而下的,人们按照期望的性质建立算法,最终导致技术实现.这与传统神经网络自下而上的方法,即从单个神经元的特性入手,试图去配置它们的连接,并用其完成特定任务的传统思想是完全不同的. 5 结论 综上所述,对于一个许多子系统组成的系统,传统的神经网络采用先研究子系统的性质进而揭示出系统的性质的方法,确是一项非常困难的工作,其原因之一就是在整个系统这样的宏观尺度上可能会出现一些不能用子系统的语言描述的新量.协同学的研究就在于探索统一性原理,发现合适的量,来描述以新的方式发展着的,宏观尺度上的质的特征.为此,协同学将注意力集中于许多单个部分构成的系统在宏观尺度上经历着质的变化情况.它从数学意义上严格处理网络行为,准确知道它们的特性,尤其不会出现传统神经网络经常出现的伪状态,符合某些心理学、生理学研究结果,成为更符合人类感知机制的神经网络.因此,协同神经网络是一种全新的神经网络系统,具有极大的潜力和广阔的应用前景. 参考文献 [1] Wang F Y.Robotic vision system for object identification and manipulation using synergetic parttern recognition.Robotics and Computer Integrated Manufacturing,1993,10(6):445~459 [2] Haken H.An algorithm for the recognition of deformed patterns including hand-written characters.J.of Math.& Phys.Sci.,1991,25(5~6):７３１~７３５ [3] Hogg T,Rees D,Talhami H.Three dimen-sional pose from 2D images -a novel approach using synergetic networks.Proc.of IEEE ICNN,1995,1140~1144 [4] Haken H.Synergetic computers and cognition——a top-down approach to neural nets.Berlin:Springer-Verlag,1991 [5] Haken H.Pattern Formation by Dynamical Systems and Pattern Recognition.Springer,Berlin Heidelberg New York,1979 [6] 尹虎君.协同学在图像处理和图像识别中的应用.硕士学位论文.上海:上海交通大学,1997 (上接第95页) [5] J.E.Bracken,U.Raghavan & R.A.Rohrer.Interconnect simulation with asymptotic waveform evaluation (AWE).IEEE Trans.CAS,1992,39(11):869~878 [6] S.Y.Kim,N.Copal and L.T.Pillage.Time-domain macromodels for VLSI interconnect analysis.IEEE Trans.CAD,1994,13(10):1257~1270 [7] F.Y.Chang.Waveform relaxation analysis of RLCG transmission lines.IEEE Trans.CAS,1990,37(11):1394~1415 [8] Qingjian Yu,Omar Wing.Computational models of transmission lines with skin effects and dielectric loss.IEEE Trans.CAS,1994,41(2):107~119 [9] V.D.Hwang et al.Nonlinear modelling and verification of MMIC amplifiers using waveform-balance method.IEEE Trans.MTT,1989,37(12):2125~2132 [10] K.S.Kundert et al.Steady-state methods for simulating analog and microwave circuits.Kluwer Academic Publishers,1990 [11] V.Rizzoli,A.Neri.State of the art and present trends in nonlinear microwave CAD techniques.IEEE Trans.MTT,1988,36(2):343~365 [12] K.S.Kundert and A.Sangiovanni-Vincentelli.Simulation of nonlinear circuits in the frequency domain.IEEE Trans.CAD,1986,5:521~535 [13] G.W.Rhyne,M.B.Steer and B.D.Bates.Frequency-domain nonlinear circuit analysis using generalized power series.IEEE Trans.MTT,1988,36(2):379~387 [14] K.S.Kundert and A.Sangiovanni-Vincentelli.Applying harmonic balance to almost-periodic circuits.IEEE Trans.MTT,1988,36(2):366~378 [15] I.Hajj,K.Singhal & J.Vlach.Efficient analysis of nonlinear networks by piecewise linear approximation.Proc.11th All.Conf.Circuits Theory,1973,635~642 [16] K.Singhal,J.Vlach.Computation of time domain response by numerical inversion of the Laplace transform.J.Franklin Inst.,1975,299:109~126 [17] C.T.Dikmen et al.Picewise linear asymptotic waveform evaluation of transient simulation of electronic circuits.Proc.IEEE Int.Symp.CAS,1991 [18] A.Ushida et al.Steady-state response of nonlinear circuits:A frequency-domain relaxation method.Int.J.Circuit Theory and Applications,1989,17:249~269 [19] R.Wang,Omaer Wing.Transient analysis of dispersive VLSI interconnects terminated in nonlinear loads.IEEE Trans.CAD,1992,11(10):1259~1277