数据挖掘分析.docx
- 文档编号:6204250
- 上传时间:2023-05-09
- 格式:DOCX
- 页数:11
- 大小:762.34KB
数据挖掘分析.docx
《数据挖掘分析.docx》由会员分享,可在线阅读,更多相关《数据挖掘分析.docx(11页珍藏版)》请在冰点文库上搜索。
数据挖掘分析
基于卷积神经网络的深度学习及其在交通标示识别中的应用
目录
一、卷积神经网络1
1.1稀疏连接1
1.2权重共享2
1.3最大池采样2
1.4Softmax回归3
二、卷积神经网络在交通标示识别中的应用4
2.1卷积层的构建4
2.2采样层的构造方法5
2.3分类层的构建5
2.4图像预处理5
2.5卷积神经网络实验结果6
2.6卷积神经网络和多层感知器结合的实验结果8
三、总结10
一、卷积神经网络
卷积神经网络(CNN)是多层感知器(MLP)的变种。
我们知道视觉皮层的细胞存在一个复杂的构造。
这些细胞对视觉输入空间的子区域非常敏感,我们称之为感受野,以这种方式平铺覆盖到整个视野区域。
这些细胞可以分为两种—类型,简单细胞和复杂细胞。
简单细胞最大程度响应来自感受野范围内的边缘刺激模式。
复杂细胞有更大的接受域,它对来自确切位置的刺激具有局部不变性。
1.1稀疏连接
在BP神经网络中,每一层的神经元节点是一个线性一维排列结构,层与层各神经元节点之间是全连接的。
卷积神经网络中,层与层之间的神经宠节点不再是全连接形式,利用层间局部空间相关性将相邻每一层的神经元节点只与和它相近的上层神经元节点连接,即局部连接,这样就得到了本文中使用的卷积神经网络结构。
图1.1稀疏连接方式示意图
假设m-1层为输入层。
在BP神经网络中,层神经元节点和m-1层所有神经元节点连接。
卷积神经网络中,m层的神经元节点只与和它相近的三个节点连接。
这样大大降低了神经网络架构的参数规模。
1.2权重共享
在卷积神经网络中,卷积层的每一个卷积滤波器重复的作用于整个感受野中,对输入图像进行卷积,卷积结果构成了输入图像的特征图,提取出图像的局部特征。
每一个卷积滤波器共享相同的参数,包括相同的权重矩阵和偏置项。
图1.2权重共享示意图
在上图中层特征图像包含个神经元,不同的连接线之间权重参数是共享的,我们仍然可以用梯度下降法去学习共享权重参数,只需要对原有的梯度下降法做一个很小的改进,共享权重的梯度是共享连接参数梯度之和。
共享权重的好处是在对图像进行特征提取时不用考虑局部特征的位置。
而且权重共享提供了一种有效的方式,使要学习的卷积神经网络模型参数数量大大降低。
1.3最大池采样
另一个关于卷积神经网络的重要概念是最大池釆样,它是一种非线性降采样方法。
在通过卷积获取图像特征之后是利用这些特征进行分类。
我们可以用所有提取到的特征数据进行分类器的训练,但这通常会产生极大的计算量。
例如:
对于一个48×48像素的图像,假设我们通过在卷积层定义了300个4×4大小的卷积滤波器,每个卷积核与图像卷积都会得到一个(48-4+1)×(48-4+1)维的卷积特征,由于有300个特征,所以每个样例都会得到一个45×45×300=607,500维的卷积特征向量。
学习一个如此规模特征输入的分类器十分困难,很容易出现过拟合现象,得不到合理的结果。
所以我们在获取图像的卷积特征后,要通过最大池采样方法对卷积特征进行降维。
我们将卷积特征划分为数个n×n的不相交区域,用这些区域的最大(或平均)特征来表示降维后的卷积特征。
这些降维后的特征更容易进行分类。
最大池釆样在计算机视觉中的价值体现在两个方面:
(1)它减小了来自上层隐藏层的计算复杂度
(2)这些池化单元具有平移不变性,即使图像有小的位移,提取到的特征
依然会保持不变。
为了理解池化的不变性,我们假设有一个最大池层级联在卷积层之后。
一个像素点可以在输入图像上的八个方向平移。
如果最大池层的滤波窗口尺寸是2×2的,卷积层中一个像素往8个可能的方向平移,其中有三个方向会产生同样的输出。
如果最大池层的滤波窗口增加到3×3,平移不变的方向会增加到5个。
由于增强了对位移的鲁棒性,最大池采样方法是一个高效的降低数据维度的采样方法。
1.4Softmax回归
Softmax回归是在逻辑回归的基础上扩张而来,它的目的是为了解决多分类问题。
在这类问题中,训练样本的种类一般在两个以上。
Softmax回归在类似手写数字识别问题中可以取得很好的分类效果,这个问题是为了对0-9这10个手写数字进行区分。
Softmax回归是有监督学习算法,它也可以与深度学习或无监督学习方法结合使用。
二、卷积神经网络在交通标示识别中的应用
道路交通标示识别是智能交通系统的重要组成部分,它对车辆行驶过程中道路上出现的标示信息进行采集和识别,及时对驾驶员做出提示或警告,在紧急时刻直接控制车辆的操作,以预防交通事故的发生,保证行车安全。
它是车辆智能化和自动驾驶技术的重要软件支撑,具有重要的理论意义和实用价值。
卷积神经网络是分层神经网络,由卷积层和子抽样层交替组成,来模拟视觉神经的简单细胞和复杂细胞,卷积神经网络不同模型的区别之处在于卷积层和子抽样层的实现方式和它们的训练方式。
下图是卷积神经网络的主要架构的简单描述。
图1卷积神经网络简单描述
2.1卷积层的构建
一个卷积层的参数包括:
输入图像和特征图像的数量,图像的尺寸大小,每一层图像有相同的尺寸(Mx,My),卷积核的尺寸大小(Kx,Ky),每一个尺寸为(Kx,Ky)的卷积核作用于输入图像的有效区域;跳过因子(Sx,Sy)定义了有多少像素在x,y方向被卷积核跳过。
经过卷积层特征提取后得到的输出图像尺寸由以下公式得到。
上式中n表示层数,Ln层每一幅图像和Ln-1层Mn-1幅图像连接,每一幅图像的神经元共享权重,但是输入不同。
2.2采样层的构造方法
本系统对卷积神经网络的实现最大的不同在于使用了最大池采样层来替代子抽样层。
在对卷积神经网络的实现中,这些层被池抽样和均化操作取代,相邻的像素在卷积时被跳过,以达到降釆样的目的。
最大池采样层的输出是由尺寸为(Kx,Ky)大小的非重叠矩阵取最大值得到的。
最大池采样提供了局部位移不变性,通过(Kx,Ky)因子对输入图像的每一个方向进行降釆样。
本实验中,最大池采样是通过一个2×2滤波窗口作用在特征图像区域,提取窗口中的最大值作为采样特征,对特征图像进行降采样。
2.3分类层的构建
我们可以选择卷积滤波器的卷积核尺寸,最大池采样矩阵和跳过因子将最后一层卷积层的输出图像降采样到一个像素,一个全连接层将最后一个卷积层的输出结合为一个一维特征矩阵。
在分类任务中最后一层通常是一个全连接层将每一个单像素图像和输出层的每一种可能的分类相连接。
我们使用softmax回归作为最后一层的激励函数,每一个神经元的输出代表分类结果的可能性。
2.4图像预处理
每一幅原始彩色图像包含一个有边界的交通标示,图像的尺寸从15×15到250×250像素不等,实际的交通标示并不总是处于彩色图像的中心位置,边界窗口属于交通标示的一部分。
训练样本集包含26640个交通标示图像,测试样本集包含12569个交通标示图像。
我们只获取图像边框和它包含的部分,卷积神经网络的实现需要相同尺寸大小的训练图像,所有的交通标示图像都将被归一化到48×48像素大小尺寸。
图像经过处理后矩形边框x,y,轴的比例变化也会有所不同。
我们将交通标示的矩形表框都归一化为正方形的边框。
由于采集到的训练样本有明显的光照变化,我们需要将图像进行对比度归一化。
我们尝试了三种不同的归一化方式:
1.将原始图像的三幅RGB彩色通道图像像素增减一个靠近图像平均像素强度的标准偏差进行线性扩展。
2.将原始图像的三幅彩色通道图像像素增减两个靠近图像平均像素强度的标准偏差进行线性扩展。
3.将图像进行限制对比度自适应直方图均衡化(Contrast-limitedAdaptiveHistogramEqualization)。
我们分别对5个交通标不数据样本在灰度空间和彩色空间进行了实验,结果如下
图2图像归一化处理效果图
其中左边部分是在灰度空间进行对比度归一化处理,右边部分是在彩色空间进行对比度变换。
第一行是原始图像,第2,3和4行分别对应以上三种方法对原始图像处理后的效果图。
从中可以发现,图像的可视效果明显变好,这会大大有利于卷积神经网络的特征提取工作,提取出的特征对原图像更有代表性。
2.5卷积神经网络实验结果
早先采用不同的正则化方式和不同网络深度的实验表明在图像分类实验中深度神经网络比浅层神经网络架构的效果要好。
因此我们构建了一个包含7个隐藏层的卷积神经网络。
输入层包含3个颜色通道的48×48尺寸大小的输入图像或者是一个48×48大小的灰度图像。
输出层包含43个神经元代表43种分类。
卷积神经网络每一层的参数设置如图所示。
表1卷积神经网络参数表
层数
种类
图像个数
尺寸
卷积核尺寸
0
输入层
1or3
48×48
1
卷积层
100
46×46
3×3
2
最大池层
100
23×23
2×2
3
卷积层
150
20×20
4×4
4
最大池层
150
10×10
2×2
5
卷积层
250
8×8
3×3
6
最大池层
250
8×8
2×2
7
全连接池
200
8
全连接池
43
对训练图像进行位移,尺度和旋转畸变可以明显的改进训练结;在每一代训练开始,每一幅交通标示图像进行随机畸变处理,畸变参数值在的范围内服从离散均匀分布。
图像的位移畸变参数范围为±T%,尺度畸变范围为:
1±S/100,旋转畸变参数为±Ro,最终的输入图像通过训练样本扭曲后使用双线性插值法得到。
卷积神经网络在灰度图像和彩色图像上的训练训练结果如下表示。
表2卷积神经网络用于灰度图像分类的结果
畸变
T(%)S(%)R(o)
误识率(%)
NO±1a±2aCLAHE
0
0
0
3.43
3.65
3.18
2.73
5
0
0
2.28
2.32
1.79
1.77
5
10
10
2.10
2.42
1.82
1.53
10
5
5
2.13
1.97
1.74
1.55
10
10
10
1.79
2.02
1.42
1.40
表3卷积神经网络用于彩色图像分类的结果
畸变
T(%)S(%)R(o)
误识率(%)
NO±1a±2aCLAHE
0
0
0
2.83
2.98
2.78
2.32
5
0
0
1.76
2.11
1.91
1.42
5
10
10
1.41
1.99
1.61
1.86
10
5
5
1.88
1.80
1.85
1.42
10
10
10
1.66
1.88
1.58
1.37
从结果可以看出卷积神经网络在处理彩色空间图像上的识别效果要优于灰度图像。
对图像进行对比受限直方图均衡化预处理要比其他两种方法处理后的识别临床更高。
增加对图像位移,尺度和旋转的畸变程度,训练效果会逐渐增强,对交通标示图像的误识率也会逐渐降低。
通过以上实验我们得到了的最低误识率。
为了展示卷积神经网络的工作机制,我们图形化了卷积神经网络第一层的在训练过程中得到的权重,为了展示方便,我们采用9×9尺寸的卷积滤波器对输入图像进行卷积,学习到的滤波器对应输入图像的点,边缘和其他特征。
图3卷积滤波器参数可视化示意图
卷积神经网络第一个卷积层学习得到的卷积滤波器,输入图像的3个彩色通道图像通过300个9×9大小的卷积核和下一层100个经过卷积产生的输出图像连接。
每一个展示的滤波器图像都是3个RGB彩色通道对应的卷积滤波器的叠加。
2.6卷积神经网络和多层感知器结合的实验结果
本实验中我们通过GTARB提供的图像特征样本去训练多层感知器用于交通标示识别问题,这是因为这些图像特征样本提供了额外息,弥补了卷积神经网络只使用原始图像进行训练带来的信息遗漏。
由于釆用HUE特征训练多层感知器产生的识别率不够充分,我们只采用HOG和HAAR特征用于多层感知器的训练。
我们构建了三种不同的多层感知器,从结果可以看出卷积神经网络在处理彩色空间图像上的效果要优于灰度图像。
MLP1包含一个有200个神经元的隐藏层,MLP2包含一个由500个神经元组成的隐藏层,MLP3包含两个隐藏层,分别由500个和250个神经元组成。
多层感知器采用共辄梯度下降法训练,结果如下表4多层感知器分类结果。
表4多层感知器分类结果
HOG01
HOG02
HOG03
HOG04
MLP1
6.86
4.55
5.96
12.92
MLP2
6.77
4.58
5.78
12.34
MLP3
7.18
4.84
5.88
10.94
通过HOG特征训练得到的三种多层感知器的识别效果差别并不大,由于HAAR特征是是高维特征(11584维),所以需要更加复杂的多层感知器进行训练,这需要更长的训练时间和更好的机器性能,所以我们并不采用通过HAAR特征训练的多层感知器。
由于卷积神经网络和多层感知器都是计算图像的近似后验分类概率,我们可以引入投票机制,将卷积神经网络和多层感知器的输出加上一个权重系数,通过训练对两个分类器的权重进行调节,得到系统最终的分类结果。
我们将采用畸变和限制对比度直方图均衡化处理的原始图像训练得到的卷积神经网络和釆用三种HOG特征训练得到的多层感知器结合进行分类实验,各种不同组合架构的错误识别率结果如下所示。
表5卷积神经网络和多层感知器分类结果
HOG01
HOG02
HOG03
MLP1/CNN
0.95
0.92
1.01
MLP2/CNN
0.95
1.00
0.97
MLP3/CNN
0.92
0.96
0.92
采用卷积神经网络和MLP3相结合的分类方法取得的最低误识率0.92%。
最终的错误分类交通标示图像如图所示,左边是卷积神经网络在取得1.37%正确识别率的误分类图像,右图是卷积神经网络和多层感知器结合的误分类图像。
从图中可以看出,大部分被错误识别的交通标示受到光照和畸变等因素影响较大,肉眼也很难分清。
图4本实验最终误分类图像
三、总结
文中构建了更适合解决图像分类问题的卷积神经网络,加深了隐含层的层数。
一共包含7个隐藏层,这使得神经网络能更好的提取图像的特征。
我们将最后一层输出层的分类器改为softmax回归函数,这使得提取出的图像能够被更好的类。
从实验结果来看也取得了很好的识别效果。
由于卷积神经网络是自动提取图像的特征信息,我们将通过人工规则提取的图像HOG特征作为训练样本,训练多层感知器作为补充,来提高对于交通标示的识别率。
实验表明,将HOG特征训练的多层感知器和用原图训练的卷积神经网络结合能够使识别率在一定程度上降低。
另外,可以考虑基于多列深度卷积神经网络的识别系统,在训练过程中只采用采集到的原始图像,识别过程中也只采用原始图像进行识别,可以省去了人工特征提取过程,使系统实时性和实际可用性大大增加。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 挖掘 分析