1、完整版MATLAB车牌识别1.引言伴随着世界各国车辆数量的增加，城市交通状况日益受到人们的重视。如何有效地进行交通管理，越来越成为各国政府的相关部门所关注的焦点。针对这一问题，人们运行先进的信息处理技术、导航定位技术、无线通信技术、自动控制技术、图像处理和识别技术及计算机网络技术等科学技术，相继研发了各种交通道路监视管理系统、车辆控制系统及公共交通系统。这些系统将车辆和道路综合起来进行考虑，运行各种先进的技术解决道路交通的问题，统称为智能交通系统( Intelligent Transportation System，简称ITS)。ITS 是20世纪90年代兴起的新一代交通运输系统。它可以加强道
2、路、车辆、驾驶员和管理人员的联系，实现道路交通管理自动化和车辆行驶的智能化，增强交通安全，减少交通堵塞，提高运输效率，减少环境污染，节约能源，提高经济活力。智能交通系统以车辆的自动检测作为信息的来源，因而对车牌照等相关信息的自动采集和处理的一门新的交通信息获取技术车牌识别(License Plate Recognition ，LPR) 技术逐渐发展起来，成为信息处理技术的一项重要研究课题。车牌自动识别是智能交通管理系统中的关键技术之一。目前，国内外车牌的识别技术有IC卡识别技术、条形码识别技术、图像处理技术、人工神经网络识别技术。采用计算机视觉技术和图像处理技术进行车牌识别是一个发展方向。基于
3、数字图像处理的车牌识别系统主要由图像的采集、牌照的定位、字符分割和字符识别四部分组成。车牌识别技术的任务是处理、分析摄取的视频流中复杂背景的车辆图像，牌照字符定位、字符分割，最后自动识别车牌上的字符。为了保证车牌识别系统在各种复杂环境下，能发挥其应有的作用，识别系统必须满足以下要求：(1) 鲁棒性: 在任何情况下均能可靠正常地工作，且有较高的正确识别率。(2) 实时性:不论在汽车静止还是高速运行情况下，图像的采集识别系统必须在一定时间内识别出车牌全部字符，达到实时识别。本文先提出了一种基于颜色与数学形态学的定位方法对车牌进行定位，后采用基于模板匹配的方法对车牌的字符识别进行研究。车牌字符的识别
4、过程实际上是在车牌准确定位的基础上，逐步去除非车牌字符区的干扰实现字符正确匹配的过程。由于车牌中的字符数目有限（汉字约50个，字母A-Z，数字0-9），识别方法有其特殊性，它不需要大量的汉字库，但同时受现场环境的影响，分割出来的单个字符图像中往往存在噪声。本文深入研究了一种基于神经网络的车牌字符识别算法，大规模的并行处理和分布式信息存储，良好的自适应性、自组织性，很强的学习功能、联想功能和容错功能，其识别率高，抗干扰能力强，灵活性大。虽然神经网络具有较高的识别率，但单个神经网络的可信度并不高。本文针对单个神经网络可信度不高的问题，提出了一种基于多个神经网络进行车牌字符识别的方法。2.设计概述2
5、.1车牌识别技术随着模式识别技术的发展，车牌字符识别已成为智能交通系统的重要组成部分，它可以从复杂的背景中准确地提取、识别汽车牌照、车辆类型等信息，在交通控制和监视中占有很重要的地位，具有广泛的应用前景。所以，汽车牌照的识别问题已经成为现代交通工程领域中研究的重点和热点问题之一。由于受环境、待识别车辆的车型复杂和车牌位置不固定等的影响，给车牌定位方法的选择带来一定的困难。车牌本身的污染、缺损也会影响识别率。一些车辆由于天气或是路况不好，使得车牌被灰尘、泥土沾染，另外还有一些车辆行驶时间较长，车牌上的字符已经部分缺损了，严重的时候，人眼也很难辨别车牌上的字符，这些情况都会影响系统的识别工作，导致
6、误识别。可见，要提高车牌定位系统和字符分割系统的正确率将碰到很多困难。无疑，如果车牌字符识别系统有较高的自适应性和鲁棒性，即对有一定噪声或变形的字符图像仍能正确识别，则会极大的减轻车牌定位系统和字符分割系统的压力。因此，设计一个抗干扰性能良好的车牌字符识别系统对整个车牌自动识别系统都是有益的。同时，字符在某种程度上反映了图形的一般特点，是一类特别的图形，其自动识别一直受到人们的极大关注，因为它的解决对于人们的生产和生活具有非常现实的意义。2.2 车牌识别技术的发展车牌识别技术产生于上世纪末开始的智能交通革命，智能交通系统经过近十多年的推广、试行和发展，目前已成功地应用于若干经济发达及较为发达国
7、家的都市及城市高速公路系统中。而车牌识别系统正是在这种应用背景下研制出来的，能够自动实时检测车辆经过和识别汽车牌照的智能交通管理系统。在经历了上个世纪末的起步阶段之后，车牌识别技术已日趋走向成熟，并开始在交通、公安、路政、停车场、安防、门禁、智能小区等许多领域得到了广泛的应用。车牌识别系统简单地说是一种以特定目标为对象的专用视觉系统，它能够从一幅图像中提取分割并识别出车辆牌照，运用先进的图像处理、模式识别和人工智能技术，通过对图像的采集和处理完成车辆牌照的自动识别，识别结果可按需求分别包括车牌的字符、数字、牌照图像，以至牌照颜色、坐标、字体颜色等。目前，车牌识别系统己经最广泛应用到包括智能交通
8、违章监视管理(电子普察)，高速公路不停车收费，车辆检测，停车场监控与管理等应用中，一方面，车牌识别系统本身是一个全数字化的智能系统，在它上面只要做不多的扩充，就可以衍生出一些其他功能。另一方面，即使是世界上很多研究机构和公司专门从事这方面的研发工作， 高可靠性，高性能和高识别率的车牌识别系统还待开发，LPR 系统发展迅速，出现了一些较为实用的产品。2.3 车牌识别技术的国内外研究现状从20世纪90年代初，国外就已经开始了对车牌自动识别的研究，其主要途径就是对车牌的图像进行分析，自动提取车牌信息，确定车牌号。在各种应用中，有使用模糊数学理论也有用神经元网络的算法来识别车牌中的字符，但由于外界环境
9、光线变化、光路中有灰尘、季节环境变化及车牌本身比较模糊等条件的影响，给车牌的识别带来较大的困难。国外的相关研究有：(1)J Barroso提出的基于扫描行高频分析的方法； (2) I.T. Lancaster提出的类字符分析方法等。为了解决图像恶化的问题，目前国内外采用主动红外照明摄像或使用特殊的传感器来提高图像的质量，继而提高识别率，但系统的投资成本过大，不适合普遍的推广。 车牌识别系统中的两个关键子系统是车牌定位系统和车牌字符识别系统。 关于车牌定位系统的研究，国内外学者已经作了大量的工作，但实际效果并不是很理想，比如车牌图像的倾斜、车牌表面的污秽和磨损、光线的干扰等都是影响定位准确度的潜
10、在因素。为此，近年来不少学者针对车牌本身的特点，车辆拍摄的不良现象及背景的复杂状况，先后提出了许多有针对性的定位方法，使车牌定位在技术和方法上都有了很大的改善.然而现代化交通系统不断提高的快节奏，将对车牌定位的准确率和实时性提出更高的要求。因而进一步加深车牌定位的研究是非常必要的。 车牌字符识别是在车牌准确定位的基础上，对车牌上的汉字、字母、数字进行有效确认的过程，其中汉字识别是一个难点，许多国外的LPR系统也往往是因为汉字难以识别而无法打入中国市场，因而探寻好的方法解决字符的识别也是至关重要的。目前己有的方法很多，但其效果与实际的要求相差很远，难以适应现代化交通系统高速度、快节奏的要求。因而
11、对字符识别的进一步研究也同样具有紧迫性和必要性。 从实用产品来看，如以色列的Hi-Tech公司研制的多种See/Car system，适应于几个不同国家的车牌识别，就针对中国格式车牌的See/Car syste而言，它不能识别汉字，且识别率有待提高。新加坡Optasia公司的VLPRS产品，适合于新加坡的车牌，另外日本、加拿大、德国、意大利、英国等西方发达国家都有适合于本国车牌的识别系统。 我国的实际情况有所不同，国外的实际拍摄条件比较理想，车牌比较规范统一，而我国车牌规范不够，车牌的颜色多，且位数不统一，处理的难度大大增加。 国内做得较好的产品主要是中科院自动化研究所汉王公司的“汉王眼”，此
12、外国内的亚洲视觉科技有限公司、深圳市吉通电子有限公司、中智交通电子系统有限公司等都有自己的产品，另外西安交通大学的图像处理与识别研究室、上海交通大学的计算机科学与工程系、清华大学、浙江大学等都做过类似的研究。通常处理时为了提高系统的识别率，都采用了一些硬件的探测器和其他的辅助设备如红外照明等，其中“汉王眼”就是采用主动红外照明和光学滤波器来减弱可见光的不可控制影响，减少恶劣气候和汽车大小灯光的影响，另外还要求在高速公路管理窗口到“汉王眼”识别点埋设两条线路管道，一条管道铺设220伏50赫兹1安培的交流供电线路:另一条管道铺设触发信号线路和汉王眼与管理计算机的通讯线路，投资巨大，不适合于大面积的
13、推广。 另外，还有两种专门的技术被用于车牌的识别中，条形码识别技术和无线射频技术。条形码识别要求预先在车身上印刷条形码，在系统的某一固定位置上安装扫描设备，通过扫描来读取条形码，以达到识别车辆的目的。无线射频技术要求在车内安装标示卡，在系统某一位置安装收发器等装置，通过收发器来接受标示卡的信号，从而识别出经过的车辆。显然，这两种技术更难以推广。从目前一些产品的性能指标可以看出，车牌识别系统的识别率和识别速度有待提高。现代交通的飞速发展以及车牌识别系统应用范围的日益拓宽给车牌识别系统提出了更高的要求。因此，研究高速、准确的定位与识别算法是当前的主要任务，而图像处理技术的发展与摄像设备、计算机性能
14、的提高都会促进车牌识别技术的发展，提高车牌识别系统的性能。2.4 主要应用领域 本论文关于车牌自动识别系统具有广泛的应用范围，主要应用于：(1)公路收费、监控管理；(2)小区、停车场管理；(3)城市道路监控、违章管理；(4)车牌登录、验证；(5)车流统计、安全管理等。车牌自动识别系统应用于这些系统，可以解决通缉车辆的自动稽查问题，可以解决车流高峰期因出入口车流瓶颈造成的路桥卡口、停车场交通堵塞问题，可以解决因工作人员作弊造成的路桥卡口、高速公路、停车场应收款流失的问题，还可以以最简单的方式完成交通部门的车辆信息联网，解决数据统计自动化，模糊查询的问题。车牌自动识别系统可安装于公路收费站、停车场
15、、十字路口等交通关卡处，其具体应用可概括为： (l)交通监控利用车牌识别系统的摄像设备，可以直接监视相应路段的交通状况，获得车辆密度、队长、排队规模等交通信息，防范和观察交通事故。它还可以同雷达测速器或其他的检测器配合使用，以检测违犯限速值的车辆。当发现车辆超速时，摄像机获取该车的图像，并得到该车的牌照号码，然后给该车超速的警告信号。 (2)交通流控制指标参量的测量，为达到交通流控制的目标，一些交通流指标的测量相当重要。该系统能够测量和统计很多交通流指标参数，如总的服务流率，总行程时间，总的流入量流出量，车型及车流组成，日车流量，小时/分钟车流量，车流高峰时间段，平均车速，车辆密度等。这也为交
16、通诱导系统提供必要的交通流信息。 (3)车辆定位由于能自动识别车牌号码，因而极易发现被盗车辆，以及定位出车辆在道路上的行驶位置。这为防范、发现和追踪涉及车辆的犯罪，保护重要车辆(如运钞车)的安全有重大作用，从而对城市治安及交通安全有重要的保障作用。 车牌自动识别系统拥有广阔的应用前景，但若在每个街口都装配一套全新的车辆探测器的硬件系统则投资巨大，所以急需一个纯软件实行的车牌自动识别系统来最大限度的减少费用，而纯软件的设计，不仅投资小而且灵活性高，适合我国的国情。3.设计方案本课题主要是就汽车牌照的自动识别进行一系列的研究，通过查阅相关资料，了解课题背景，熟悉MATLAB软件的基本操作，利用MA
17、TLAB软件，根据提供的汽车车牌照片，采用图像分析和处理算法，有效识别汽车的车号等相关信息。主要的研究内容有： (1)在MATLAB基础上，实现车牌识别系统中车牌字符的识别及神经网络功能。 (2)对车牌图像预处理、字符切分、字符识别的算法进行研究。 (3)对实验结果进行分析。完整的车牌识别系统应包图像采集、图像预处理、字符分割、神经网络等单元。当检测到图片时，系统采集当前的图像，牌照识别单元对图像进行处理，再将牌照中的字符分割出来进行识别，然后经过圣经网络将车牌照号码输出。（1）载入图片（2）图像预处理 （3）水平垂直校正 （5）二值化（6）NN神经网络 （7）图片输出4.车牌识别系统的mat
18、lab实现4.1 图像的读取MATLAB中从图像中读取数据函数imread()，这个函数的作用是将图像文件的数据读入矩阵中，此外还可以用imfinfo()函数查看图像文件的信息。函数imread可以从任何MATLAB支持的图像文格式中读取一幅图像。大多数图像文件格式采用8为数据存储像素值，将这些文件读入内存后，MATLAB都将其存储为unit8类型。对支持16为数据的文件格式，如PNG和TIFE，MATLAB则将这些图像存储为unit16类型。和其他MATLAB生成的图像一样，一旦一幅图像被显示了，那么它将成为一个图形对象句柄。在读取图像之前，应该先清除MATLAB所有的工作平台变量，并关闭打
19、开的图形窗口。为此，可使用以下命令：clear; close allFigure对象是MATLAB系统中包括GUI设计编辑窗在内所有显示窗口。在系统运行极限条件下，用户可以创建任意多个Figure窗。所有Figure对象的父对象都是Root对象，而其他所有MATLAB图形对象都是Figure对象的子对象。如果当前没有创建任何Figure对象，MATLAB在调用一个绘图函数（如plot 函数mesh函数）时，都自动创建一个Figure对象，如果在 MATLAB系统中已经包括了好多Figure窗，系统则总是指定一个Figure窗为当前窗口，以后所有的函数默认把它作为输出图行窗。如果当前只有GUI设
20、计编辑窗，MATLAB系统也默认为无可用的Figure窗，及调用绘图函数时将重新创建一个Figure对象。我们取了十幅车牌做参考，用其中一副为例子讲解，原图如下：4.2 图像预处理 4.2.1灰度变换灰度图是指只包含亮度信息，不包含彩色信息的图像，例如平时看到的亮度连续变化的黑白照片就是一幅灰度图。灰度化处理就是将一幅彩色图像转换成为灰度图像的过程。彩色图像分为R、G、B三个分量，分别显示出红、绿、蓝等各种颜色，灰度化就是彩色的R、G、B分量相等的过程。灰度值大的像素点比较亮，反之比较暗。输入的彩色图像包含大量颜色信息，会占用较多的存储空间，且处理时也会降低系统的执行速度，因此对图像进行识别等
21、处理时，常将彩色图像转换为灰度图像，以加快处理速度。图像灰度化的算法主要由以下3种：（1）最大值法：是转化后R、G、B的值等于转化前3个之中最大的一个，即: （3.4.4.1）这种方法转换的灰度图亮度高。（2）平均值法：使转化后R、G、B的值为转化前R、G、B的平均值 （3.4.4.2）这种方法产生的灰度图像比较柔和。 （3）加权平均值法：按照一定的权值，对R、G、B的值加权平均，即： （3.4.4.3）其中，、分别为R、G、B的权值。、取不同的值，将形成不同的灰度图像。由于人眼对绿色最为敏感，红色次之，对蓝色的敏感性最低，因此使将得到较易识别的灰度图像。4.2.1 灰度图像4.2.2 图像校
22、正 在机器视觉的研究和应用中, 数字图像的质量是相当重要的, 尤其是在精确测量、严格定位的场合。本次设计需要进行车牌校正，因为拍照的时候，我们传送到的图像不一定一定水平，所以我们要进行图像的校正。本次设计采用了以下的方法进行校正，设计一个倾斜角，以180度为基准，超出则90-J程序如下：function qingxiejiao=rando_bianhuan(I)I=edge(I);theta = 1:180;R,xp = radon(I,theta);I,J = find(R=max(max(R);%J记录了倾斜角qingxiejiao=90-J;4.3 牌照分割对车牌的分割可以有很多种方法，
23、本程序是利用车牌的彩色信息的彩色分割方法。根据车牌底色等有关的先验知识，采用彩色像素点统计的方法分割出合理的车牌区域，确定车牌底色蓝色RGB对应的各自灰度范围，然后行方向统计在此颜色范围内的像素点数量，设定合理的阈值，确定车牌在行方向的合理区域。然后，在分割出的行区域内，统计列方向蓝色像素点的数量，最终确定完整的车牌。4.3.1 图像边缘提取及二值化(1) 边缘提取边缘主要存在与目标、目标与背景、区域与区域之间，边缘检测主要是精确定位边缘和抑制噪点，原理是：由于微分算子具有突出灰度变化的作用，对图像进行微分运算，在图像边缘出机器会读变化较大，计算值较高，可将这些为分支作为供应点的边缘强度，通过
24、阈值判别来提取边缘点，即如果为分支大于阈值，则为边缘点。其基本步骤是首先利用边缘增强算子，突出图像中的局部边缘，边缘检测算子有Robert 算子、Soble 算子、Prewitt算子、 Laplace 算子和Canny算子。腐蚀边缘图像：删除对象边界某些像素填充边缘图像：给图像中的对象边界添加像素在操作中，输出图像中所有给定像素的状态都是通过对输入图像的相应像素几邻域使用一定的规则进行确定。在填充操作时，输出像素值是输入图像相应像素邻域内所有像素值为1，那么对应的输出像素值为1；而在腐蚀操作中，输出像素值是输入图像相应像素邻域内所有像素的最小值。在二进制图像中，如果任何一个像素值为0，那么对应
25、的输出像素值为0。腐蚀后边缘图像填充后图像(2) 灰度图像二值化和灰度图像一样，二值图像只要一个数据矩阵，每个像素只取两个离散的值。实际上，这两个值就相当于开和关，对应于white和black。一个二值图像时以0和1的逻辑矩阵存储的。灰度图像二值化处理就是将图像上的点的灰度置为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。在数字图像处理中，而值图像占有非常重要的地位，要进行二值化图像的处理与分析，首先，要把灰度图像二值化，得到二值图像，这样子有利于在对图像作进一步处理时，图像的集合性质只与像素
26、值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。为了得到理想的二值图像，一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体，其灰度值为255表示，否则这些像素点被排除在物体区域以外，灰度值为0，表示背景或者例外的物体区域。如果某特定物体在内部有均匀一致的灰度值，并且其处在一个具有其他等级灰度值的均匀背景下，适用阈值法就可以得到比较的分割效果。如果物体同背景的差别表现不在灰度值上（比如纹理不同），可以将这个差别特征转换为灰度的差别，然后利用阈值选区技术来分割该图像。动态调节阈值实现图像的二值化可动态观察其分割图
27、像的具体结果。运行效果图如图4.3.1所示：图 4.3.14.3.2 BP神经网络人工神经网络（Neural Networks，简写为NN）也简称为神经网络（NN）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。神经网络是智能控制技术的主要分支之一。本次设计利用神经网络进行字符提取，利用神经网络代价函数，达到设计要求。神经网络参数程序如下：net=newff(minmax(P),800,239,70,logsig,logsig,
28、logsig,trainrp);%建立一个三层 BP 神经网络net.inputWeights1,1.initFcn =randnr;% 当前输入层权值和阈值 net.layerWeights2,1.initFcn =randnr;% 当前网络层权值和阈值 net.trainparam.epochs=1000;%最大训练次数net.trainparam.lr=0.1;%网络学习率net.trainparam.goal=0.001;%网络收敛目标net=init(net);% 训练网络 %训练样本%net=train(net,P,T);%测试%fn,pn=uigetfile(*.jpg,选择图片
29、);I=imread(pn fn);dw=location(I);%车牌定位PIN0,PIN1,PIN2,PIN3,PIN4,PIN5,PIN6=StringSplit(dw);%字符分割及处理当我们的数据库准确定下数据后，那我们需要调整的是BP神经网络的参数设置，我们训练学习的精度，收敛目标的大小和快慢都会影响MATLAB最后的运行结果。网络学习率：实际和信号分析里的时间常熟是一样的，学习率越小，学习就会越精细，但同时学习速度也会降低。4.4 车牌提取经过神经网络NN，车牌号码已经被提取出来，然后进行存储，最后读取出来。运行效果如图4.4.1所示：图 4.4.15.设计结果及分析5.1程序运
30、行结果 车牌识别每一次运行都要花一定的时间，因此我们在MATLAB设断点在目标收敛图像程序里，这样我们只要看目标收敛函数图像是否收敛就能确定我们的神经网络参数是否正确，一种一副目标收敛图像如下图：我们选取了十幅车牌为例子，我们用MATLAB测试图片见附录2。根据软件运行结果分析得出车牌的识别率如下表所示：原车牌号识别车牌号错误汉字识别率字母数字识别率总识别率桂AE0886桂AE0886/100%96.7%80%豫BMW523豫BEW523M苏EW0240苏EW0240/云AMP526云AMP526/苏EWA902苏EWA902/苏EWE235苏EWE235/鄂AEB506鄂AEB506/桂AF
31、2830桂AF2830/苏EW7561苏BW7561E桂AM9678桂AM9678/5.2程序结果分析 老师给的车牌图像不能识别，而自己从网上找的车牌可以很准确的识别。原因可能是第一个车牌比较模糊，车头的纹理和车牌号码比较接近，所以造成了识别上的错误。而这正是识别中非常容易出错的地方，因此需要在其他方面做些弥补，最后达到识别效果。在车牌识别的过程中数字库的建立很重要,只有数字库的准确才能保证检测出来的数据正确。切割出来的数据要与数据库的数据作比较，所以数据库的数据尤为重要。我们小组一开始由于数据库只有16个数据，导致我们神经网络的车牌识别率比模版的识别率还低，而我们只是改参数，并不能从根源上解决问题，后经过我们去向老师询问情况，才知道我们的数据库资料太少，BP网络训练一个0就可以有很多种。我们增加了数据库，效果果然不一样了。总结体会本次设计是分组进行的，我们小组做的是基于NN/PSO/ACO/GA算法的图像识别技术研究。主要解决了以下几个问题：一、在背景的图象中如何定位分割牌照区域；二、对分割下来的牌照字符如何提取具有分类能力的特征；三、如何设计识别器。在车辆牌照字符识别系统的研究领域，近几年出现了许多切实可行的识别技术和方法，从这些新技术和方法中可以看到两个明显的趋势：一是单一的预处理和识别技术都无法达到
