BP神经网络详解PPT.ppt
- 文档编号:8345900
- 上传时间:2023-05-13
- 格式:PPT
- 页数:29
- 大小:840KB
BP神经网络详解PPT.ppt
《BP神经网络详解PPT.ppt》由会员分享,可在线阅读,更多相关《BP神经网络详解PPT.ppt(29页珍藏版)》请在冰点文库上搜索。
BP神经网络模型与学习算法,概述,Rumelhart,McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差,再用这个误差估计更前一层的误差,如此一层一层的反传下去,就获得了所有其他各层的误差估计。
J.McClelland,DavidRumelhart,BP神经网络模型,三层BP网络,BP神经网络模型,激活函数必须处处可导一般都使用S型函数使用S型激活函数时BP网络输入与输出关系输入输出,BP神经网络模型,输出的导数,根据S型激活函数的图形可知,对神经网络进行训练,应该将net的值尽量控制在收敛比较快的范围内,BP网络的标准学习算法,学习的过程:
神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。
学习的本质:
对各连接权值的动态调整学习规则:
权值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。
BP网络的标准学习算法-算法思想,学习的类型:
有导师学习核心思想:
将输出误差以某种形式通过隐层向输入层逐层反传学习的过程:
信号的正向传播误差的反向传播,将误差分摊给各层的所有单元各层单元的误差信号,修正各单元权值,BP网络的标准学习算法-学习过程,正向传播:
输入样本输入层各隐层输出层判断是否转入反向传播阶段:
若输出层的实际输出与期望的输出(教师信号)不符误差反传误差以某种形式在各层表示修正各层单元的权值网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止,BP网络的标准学习算法,网络结构输入层有n个神经元,隐含层有p个神经元,输出层有q个神经元变量定义输入向量;隐含层输入向量;隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;,BP网络的标准学习算法,输入层与中间层的连接权值:
隐含层与输出层的连接权值:
隐含层各神经元的阈值:
输出层各神经元的阈值:
样本数据个数:
激活函数:
误差函数:
BP网络的标准学习算法,第一步,网络初始化给各连接权值分别赋一个区间(-1,1)内的随机数,设定误差函数e,给定计算精度值和最大学习次数M。
第二步,随机选取第个输入样本及对应期望输出,BP网络的标准学习算法,第三步,计算隐含层各神经元的输入和输出,BP网络的标准学习算法,第四步,利用网络期望输出和实际输出,计算误差函数对输出层的各神经元的偏导数。
BP网络的标准学习算法,第五步,利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。
BP网络的标准学习算法,BP网络的标准学习算法,第六步,利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。
BP网络的标准学习算法,第七步,利用隐含层各神经元的和输入层各神经元的输入修正连接权。
BP网络的标准学习算法,第八步,计算全局误差第九步,判断网络误差是否满足要求。
当误差达到预设精度或学习次数大于设定的最大次数,则结束算法。
否则,选取下一个学习样本及对应的期望输出,返回到第三步,进入下一轮学习。
BP网络的标准学习算法,BP算法直观解释情况一直观表达当误差对权值的偏导数大于零时,权值调整量为负,实际输出大于期望输出,权值向减少方向调整,使得实际输出与期望输出的差减少。
BP网络的标准学习算法,BP算法直观解释情况二直观表达当误差对权值的偏导数小于零时,权值调整量为正,实际输出少于期望输出,权值向增大方向调整,使得实际输出与期望输出的差减少。
BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能,BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能newff()功能建立一个前向BP网络格式net=newff(PR,S1S2.SN1,TF1TF2.TFN1,BTF,BLF,PF)说明net为创建的新BP神经网络;PR为网络输入取向量取值范围的矩阵;S1S2SNl表示网络隐含层和输出层神经元的个数;TFlTF2TFN1表示网络隐含层和输出层的传输函数,默认为tansig;BTF表示网络的训练函数,默认为trainlm;BLF表示网络的权值学习函数,默认为learngdm;PF表示性能数,默认为mse。
BP神经网络学习算法的MATLAB实现,MATLAB中BP神经网络的重要函数和基本功能tansig()功能正切sigmoid激活函数格式a=tansig(n)说明双曲正切Sigmoid函数把神经元的输入范围从(-,+)映射到(-1,1)。
它是可导函数,适用于BP训练的神经元。
logsig()功能对数Sigmoid激活函数格式a=logsig(N)说明对数Sigmoid函数把神经元的输入范围从(-,+)映射到(0,1)。
它是可导函数,适用于BP训练的神经元。
BP神经网络学习算法的MATLAB实现,例2-3,下表为某药品的销售情况,现构建一个如下的三层BP神经网络对药品的销售进行预测:
输入层有三个结点,隐含层结点数为5,隐含层的激活函数为tansig;输出层结点数为1个,输出层的激活函数为logsig,并利用此网络对药品的销售量进行预测,预测方法采用滚动预测方式,即用前三个月的销售量来预测第四个月的销售量,如用1、2、3月的销售量为输入预测第4个月的销售量,用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。
BP神经网络学习算法的MATLAB实现,%以每三个月的销售量经归一化处理后作为输入P=0.51520.81731.0000;0.81731.00000.7308;1.00000.73080.1390;0.73080.13900.1087;0.13900.10870.3520;0.10870.35200.0000;%以第四个月的销售量归一化处理后作为目标向量T=0.73080.13900.10870.35200.00000.3761;%创建一个BP神经网络,每一个输入向量的取值范围为0,1,隐含层有5个神经%元,输出层有一个神经元,隐含层的激活函数为tansig,输出层的激活函数为%logsig,训练函数为梯度下降函数,即2.3.2节中所描述的标准学习算法net=newff(01;01;01,5,1,tansig,logsig,traingd);net.trainParam.epochs=15000;net.trainParam.goal=0.01;%设置学习速率为0.1LP.lr=0.1;net=train(net,P,T);,BP神经网络学习算法的MATLAB实现,BP网络应用于药品预测对比图由对比图可以看出预测效果与实际存在一定误差,此误差可以通过增加运行步数和提高预设误差精度业进一步缩小,BP神经网络的特点,非线性映射能力能学习和存贮大量输入-输出模式映射关系,而无需事先了解描述这种映射关系的数学方程。
只要能提供足够多的样本模式对供网络进行学习训练,它便能完成由n维输入空间到m维输出空间的非线性映射。
泛化能力当向网络输入训练时未曾见过的非样本数据时,网络也能完成由输入空间向输出空间的正确映射。
这种能力称为泛化能力。
容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。
小结,BP算法背景BP神经网络模型BP算法基本思想推导过程实现BP神经网络的MATLAB函数BP神经网络的应用实例BP神经网络与感知器神经网络的对比,谢谢!
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- BP 神经网络 详解 PPT