您好,欢迎访问三一刀客
第四章人工神经网络4.1人工神经网络基础知识4.2人工神经网络的训练和学习4.3BP人工神经网络矿山信息及其计算机应用2019/8/18人工神经网络24.1人工神经网络基础知识4.1.1人工神经网络的生物学基础人工神经网络(ArtificialNeuralNetworks,简记ANN),是受人的大脑皮层神经网络的启发构造而成的。科学研究发现,人的大脑中大约含有1011个生物神经元,它们通过1015个联结形成的系统。每个神经元包括三个主要部分:细胞体、树突和轴突。细胞体是神经元的主体,主要由细胞膜、细胞质和细胞核组成,神经元中信息的产生和整合是由细胞体完成的。树突是从细胞体向外延伸出的多支神经纤维;神经元靠树突接受来自其他神经元的传来的信号,相当于细胞体的输入端。轴突是由细胞体伸出的最长的一条突起,称为轴突,用来传出细胞体产生的电化学信号,相当于细胞体的输出端。神经元之间通过轴突末梢和树突进行通信连接,这种连接相当于神经元之间的输入/输出接口,称为突触。第四章人工神经网络矿山信息及其计算机应用2019/8/18人工神经网络3图1典型的生物神经元矿山信息及其计算机应用2019/8/18人工神经网络4髓鞘(myelinsheath)是一层脂肪组织,包裹在神经元的轴突外,具有绝缘作用并提高神经冲动的传导速度。髓鞘功能退化的疾病会导致神经元向肌肉传导信息的速度减慢,并最终会失去对肌肉的控制。髓鞘上有郎飞氏结,可使神经冲动跳跃传递,跳跃传导方式极大地加快了传导的速度。每个神经元具有独立的接受、处理和传递信号的能力。每个神经细胞所产生和传递的基本信号是:兴奋或抑制。从信息的传递过程来看,一个神经细胞的树突,在突触处从其他神经细胞接受信号,然后传递到细胞体。如果在一个时间间隔内,细胞体接受到的信号量足够大,该细胞体将被激活,而产生一个脉冲信号,这个信号将沿着该神经细胞的轴突传递出去,并通过它的突触传递给其他神经细胞。多个神经元细胞通过突触的联接形成神经网络。矿山信息及其计算机应用2019/8/18人工神经网络5人们通过对人脑神经系统的初步认识,构造出人工神经元组成的人工神经网络,对人的智能进行近似仿真。人工神经元的主要结构单元具有信号的输入、信号的综合处理和信号的输出三大功能。输出信号的强度大小反映了该结构单元对相邻结构单元影响的强弱。人工神经元之间通过相互联接形成的网络,称为人工神经网络。神经元之间相互联接的方式称为联接模式,神经元相互之间的联接度由联接权值体现。矿山信息及其计算机应用2019/8/18人工神经网络64.1.2人工神经网络的基本结构与模型1.人工神经元模型图2单个神经元模型图矿山信息及其计算机应用2019/8/18人工神经网络7神经元是人工神经网络的基本处理单元,一般是由一个多输入/单输出的非线性元件组成。神经元输出除了受输入信号的影响外,同时也受到神经元内部因素的影响。因此,在神经元的建模过程中,需要增加一个额外输入信号,称为偏差(bias)或阀值。一个具有r个输入分量的神经元,见图2。输入分量pj表示来自前级第j个神经元轴突的信号。权值分量wj表示来自前级第j个神经元突触的传递信号的效率。激活函数f表示神经元受到输入分量p1,p2,…,pr的共同作用达到阀值时以何种方式输出。输入分量pj与权值分量wj相乘,以的形式形成激活函数f的输入。激活函数的另一个输入是神经元的偏差b。神经元模型的输出可表示为:(4-1))(1bpwfArjjjjrjjpw1矿山信息及其计算机应用2019/8/18人工神经网络82.激活函数激活函数是一个神经元及网络的核心。一个神经元在获得网络输入后,它应该给出适当的输出。按照生物神经元的特性,每个神经元有一个阀值,当该神经元所获得的输入信号的累积效果超过阀值时,它就处于激发态;否则,处于抑制态。为了使系统有更宽的适用面,希望人工神经元有一个更一般的变换函数,用来执行对该神经元所获得的网络输入的变换,这就是激活函数。下面是几种常用的激活函数:(1)阀值型激活函数这种激活函数将任意的输入转化为0或1的输出,具有此函数的神经元的输入/输出关系为:(4-2)(2)线性激活函数线性激活函数的输出等于加权输入和加上偏差,此函数的输入/输出关系为:(4-3)式中,K为放大系数,c为位移,0001)(netnetnetfAbpwnetrjjj1cnetKnetfA)(矿山信息及其计算机应用2019/8/18人工神经网络9(3)S型激活函数S型激活函数常用:对数S型激活函数,双曲函数。对数S型激活函数的输入/输出关系为:(4-4)其中,a,b,d为常数。函数饱和值为0和1。双曲函数的输入/输出关系为:(4-5)函数的饱和值为-1和1。)exp(1)(netdbanetfnetnetnetneteeeenetf)(矿山信息及其计算机应用2019/8/18人工神经网络103.联接模式在生物神经系统中,一个神经元接受的信号可以对其起“刺激”作用,也可能对其起“抑制”作用。在人工神经网络系统中,神经元是以加权和的形式接受其他的神经元传来的信号的。用正号(“+”,可省略)表示传送来的信号起到刺激作用,引起神经细胞的兴奋,用于增加神经元的活跃度。用负号(“-”)表示传送来的信号起到抑制作用,抑制神经细胞的活性,用于降低神经元的活跃度。那么,如何组织网络中的神经元呢?研究发现,物体在人脑中的反映带有分块的特征,对一个物休的反映,大脑中存在相应的明、暗区域。这一点启发我们可以将这些神经元分成不同的块,这些不同的块可以放入不同的层中。神经元之间有3种不同的互联模式:层内联接、循环联接、层间联接。矿山信息及其计算机应用2019/8/18人工神经网络11(1)层内联接层内联接是本层内的神经元到本层内的神经元之间的联接,可用来加强神经元之间的联接或完成层内神经元之间的竞争:当需要组内神经元之间的联接加强时,这种联接的联接权取正值;在需要实现组内竞争时,这种联接权取负值。(2)循环联接循环联接在这里特指神经元自身到自身的联接,用于不断加强自身的激活值,使本次的输出与上次的输出相关,是一种特殊的反馈信号。(3)层间联接层间联接指不同层中的神经元之间的联接。这种联接用来实现层间的信号传递。在复杂的网络中,层间的信号传递既可以是向前的(前馈信号),又可以是向后的(反馈信号)。矿山信息及其计算机应用2019/8/18人工神经网络124.网络的稳定性在反馈方式中,一个输入信号通过网络变换后,产生一个输出,然后该输出又被反馈到输入端,对应于这个“新的”输入,网络又产生一个新的输出,这个输出又被再次反馈到输入端……如此重复下去。我们希望,随着这种循环的进行,在某一时刻,输入和输出不再发生变化,即网络稳定了下来,此时,网络的输出将是网络最为理想的输出。在这个过程中,信号被一遍一遍地修复和加强,最终得到适当的结果。5.网络的分层结构为了更好地组织网络中的神经元,我们把它们分布到网络的各层中。1)单级网(1)简单的单级网矿山信息及其计算机应用2019/8/18人工神经网络13最简单的人工神经网络,如图3所示,网络接受输入向量X:X=(x1,x2,…,xn)(4-6)经过变换后输出向量Y:Y=(y1,y2,…,ym)(4-7)x1x2xn......w11w12w1mw21w22w2mwn1wnm......y1y2ymwn2输入层输出层图3简单的单级网络矿山信息及其计算机应用2019/8/18人工神经网络14图3表面上看是一个两层网,但是由于其中的输入层的神经元不对输入信号做任何处理,它们只起到对输入向量X的扇出作用。因此,在计算网络的层数时不将“输入层”作为一层。设输入层的第i个神经元到输出层的第j个神经元的联接的强度为wij,即X的第i个分量以权重wij输入到输出层的第j个神经元中,取所有的权构成(输人)权矩阵W:W=(wij)(4-8)输出层的第j个神经元的网络输入记为netjnetj=x1w1j+x2w2j+……+xnwnj(4-9)其中,1≤j≤m,取NET=(net1,net2,……,netm)从而有NET=X.W,Y=f(NET),式中,f为输出层神经元的激活函数。根据信息在网络中的流向,称W是从输入层到输出层的联接权矩阵。矿山信息及其计算机应用2019/8/18人工神经网络15(2)单级横向反馈网在简单的单级网的基础上,在其输出层加上侧向的联接就构成单级横向反馈网,如图4。x1x2xn......w11w12w1mw21w22w2mwn1wnm......y1y2ymwn2输入层输出层V图4单级横向反馈网矿山信息及其计算机应用2019/8/18人工神经网络16设输出层的第i个神经元到输出层的第j个神经元的联接的强度为vij,即Y的第i个分量以权重vij输入到输出层的第j个神经元中。取所有的权构成侧向联接矩阵VV=(vij)(4-10)则NET(t+1)=X(t).W+Y(t).V(4-11)Y(t+1)=f(NET(t+1))(4-12)其中,当t=0时,Y(0)=0。在网络中,对一个输入,如果网络最终能给出一个不变的输出,也就是说,网络的运行达到稳定,称该网络是稳定的;否则,称之为不稳定的。2)多级网研究表明,单级网的功能是有限的,适当地增加网络的层数可以提高网络的计算能力,这也部分地模拟了人脑的某些部位的分组结构特征。矿山信息及其计算机应用2019/8/18人工神经网络17x1x2xn......w11w12w1mw21w22w2mwn1wnm......y1y2ymwn2输入层隐含层............图5多级前馈网输出层矿山信息及其计算机应用2019/8/18人工神经网络18(1)层次划分图5所示是一个典型的多级前馈网。在这种网络中,信号只允许从较低层流向较高层。用层号确定层的高低:层号较小者,层次较低;层号较大者,层次较高。输入层:与单级网络一样,该层只起到输入信号的扇出作用,所以在计算网络的层数时不被记入。输入层负责接收来自网络外部的信息,常被记作第0层。第j层:第j-l层的直接后继层,它直接接受第j-l层的输出。输出层:它是网络的最后一层,具有该网络的最大层号,负责输出网络的计算结果。输出层的层号为该网络的层数,一个输出层号为n的网络称为n层网络。隐藏层:除输入层和输出层以外的其他各层叫隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号。矿山信息及其计算机应用2019/8/18人工神经网络19(2)非线性激活函数非线性激活函数在多级网络中起着非常重要的作用,它除了能够根据需要对网络中各神经元的输出进行变换外,还使得多级网络的功能超过单级网络。增加网络的层数在于提高网络的计算能力。但是,如果使用线性激活函数,则多级网的功能不会超过单级网的功能。事实上,设有一个n层网络,X是其输入向量;W(1),W(2),......,W(n)是各级联接矩阵;NET1,NET2,......,NETn分别是各级的网络输入向量;f1,f2,......,fn为各级神经元的激活函数,假定它们都是线性的。fi(NETi)=KiNETi+Ai1≤i≤n(4-13)其中,Ki、Ai都是常数向量。网络的输出向量为:Y=fn(...f3(f2(f1(NET1)))...)矿山信息及其计算机应用2019/8/18人工神经网络20=fn(...f3(f2(K1XW(1)+A1))...)=fn(...f3(K2(K1XW(1)+A1)W(2)+A2)...)=fn(...K3(K2(K1XW(1)+A1)W(2)+A2)W(3)+A3...)......=KXW+A其中:K=Kn...K3K2K1W=W(1)W(2)W(3)...W(n)A=Kn...K2K1A1W(2)W(3)...W(n)+Kn...K3A2W(3)...W(n)+...+Kn...Ki+1AiW(i+1)...W(n)+...+KnAn-1W(n)+An矿山信息及其计算机应用2019/8/18人
本文标题:矿山信息
链接地址:https://www.111doc.com/doc-331288 .html