卷积神经网络ppt课件优质PPT.pptx
- 文档编号:1574220
- 上传时间:2023-05-01
- 格式:PPTX
- 页数:26
- 大小:3.85MB
卷积神经网络ppt课件优质PPT.pptx
《卷积神经网络ppt课件优质PPT.pptx》由会员分享,可在线阅读,更多相关《卷积神经网络ppt课件优质PPT.pptx(26页珍藏版)》请在冰点文库上搜索。
,可以看出,它们都求了e对c的偏导。
对于权值动则数万的深度模型中的神经网络,这样的冗余所导致的计算量是相当大的BP算法则机智地避开了这种冗余,BP算法是反向(自上往下)来求偏导的。
ConvolutionalNeuralNetworks梯度下降算法+反向传播算法,7,ConvolutionalNeuralNetworks,8,ConvolutionalNeuralNetworks,9,ConvolutionalNeuralNetworks,10,ConvolutionalNeuralNetworks,11,什么是卷积?
右图展示了卷积的过程,和信号处理的卷积有所区别卷积降低了网络模型的复杂度(对于很难学习的深层结构来说,这是非常重要的),减少了权值的数量黄色部分是卷积核,ConvolutionalNeuralNetworks,12,什么是池化?
池化层主要的作用是下采样,通过去掉FeatureMap中不重要的样本,进一步减少参数数量。
池化的方法很多,最常用的是MaxPooling。
MaxPooling实际上就是在n*n的样本中取最大值,作为采样后的样本值。
右图是2*2max,ConvolutionalNeuralNetworks,13,LeNet-5,LeNet-5,14,输入图像是32x32的大小,卷积核的大小是5x5的,由于不考虑对图像的边界进行拓展,则卷积核将有28x28个不同的位置,也就是C1层的大小是28x28。
这里设定有6个不同的C1层,每一个C1层内的权值是相同的。
S2层是一个下采样层,即池化层。
在斯坦福关于深度学习的教程中,这个过程叫做Pool。
但在LeNet-5系统,下采样层比较复杂,由4个点下采样的加权平均为1个点,因为这4个加权系数也需要学习得到,这显然增加了模型的复杂度。
LeNet-5,15,简单的说,例如对于C3层第0张特征图,其每一个节点与S2层的第0张特征图,第1张特征图,第2张特征图,总共3个5x5个节点相连接。
后面依次类推,C3层每一张特征映射图的权值是相同的,3.根据对前面C1层同样的理解,我们很容易得到C3层的大小为10x10.只不过,C3层的变成了16个10x10网络,有16个卷积核。
如果S2层只有1个平面,那么由S2层得到C3就和由输入层得到C1层是完全一样的。
但是,S2层由多层,那么,只需要按照一定的顺利组合这些层就可以了。
具体的组合规则,在LeNet-5系统中给出了下面的表格:
C3层featuremap,S2层featuremap,LeNet-5,16,S4层是在C3层基础上下采样,前面已述。
C5层是一个卷积层,有120个特征图。
每个单元与S4层的全部16个单元的5*5邻域相连,故C5特征图的大小为1*1:
这构成了S4和C5之间的全连接。
之所以仍将C5标示为卷积层而非全连接层,是因为如果LeNet-5的输入变大,而其他的保持不变,那么此时特征图的维数就会比1*1大。
C5层有48120个可训练连接。
F6层有84个单元(之所以选这个数字的原因来自于输出层的设计),与C5层全相连。
有10164个可训练参数。
如同经典神经网络,F6层计算输入向量和权重向量之间的点积,再加上一个偏置。
然后将其传递给sigmoid函数产生节点的输出。
LetNet-5,17,比特面编码:
将一个灰度图像为8bit/像素中每个像素的第j个比特抽取出来,就得到一个称为比特平面的二值图像,于是图像完全可以用一组共8个比特平面来表示,对灰度图像的编码转为对比特平面的二值化方块编码。
为此,将每个比特面分为不重叠的mn个元素的子块。
卷积层的训练,18,layerl-1,layerl,L-1层的误差,L-1层的输出,L层的误差,L层的输入,?
卷积层的误差传播,19,卷积层的误差传播,20,卷积层的误差传播,21,卷积操作,卷积层filter权重梯度的计算,22,卷积层filter权重梯度的计算,23,与误差传播类似,相当于l层的误差项(sensitivitymap)与l-1层的输出项做卷积操作,得到卷积核(filter)的梯度,池化层的误差传递,24,大部分池化层没有需要训练的参数,只需要将误差传递。
以MaxPooling为例Layerl-1Layerl,池化层的误差传递,25,Thankyou,26,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 卷积 神经网络 ppt 课件