1、目录摘 要 关键词： 49ABSTRACT Keyword: 目录摘 要IABSTRACTI第一章 绪论31.1 课题背景31.2 国内外现状31.3 研究目的和主要内容41.4 论文的组织和安排5第二章 水果分类的图像算法设计62.1计算机数字图像处理62.2水果分类的基本图像处理算法72.3水果的图像特征92.4水果图像分类器122.5水果图像识别算法设计142.5.1水果图像背景提取142.5.2水果形状和颜色特征152.5.3水果分类算法172.6本章小结18第三章 水果图像识别系统总体设计193.1系统总体设计193.1.1系统需求分析193.1.2系统方案选择203.2硬件方案设计
2、263.3 水果注册流程273.4水果识别流程293.5本章小结30第四章 水果图像识别系统设计314.1软件概要设计314.2图像处理模块详细设计324.2.1基本数据结构定义324.2.2水果识别API344.3应用管理及数据管理详细设计364.3.1应用管理模块364.3.2数据管理模块374.4人机交互模块详细设计384.5 本章小节39第五章 水果图像识别性能测试405.1 原型系统405.2 数据准备405.3 测试方法415.4 实验结果435.5 结果分析445.6 本章小节45参考文献47致 谢49 第一章 绪论1.1 课题背景随着计算机技术的不断发展，近年来基于模式识别技术
3、逐渐推广应用到农业领域，例如利用遥感图像分析识别农业灌溉效果，稻田丰收欠收识别与估计，以及农作物的自动分拣与识别等。80年代出现了一些自动分类系统。在已有的水果识别分类系统中，应用得较多的包括水果的伤痕及缺陷检测，水果等级的自动识别与划分等1-4,6-9。这类分类系统大多要求将采摘的水果置于严格限定的状态之中，比如一类水果分类系统利用气味传感器件采集数据，然后以此作为特征对水果进行分类或者质量评估，分类准确率可以达到90%。但是这类系统的一个明显缺陷是必须将采摘的水果置于相对隔离的空间中，需要采用特殊的气味传感器件来采集数据，并且容易受到外部环境，例如流通的空气等因素影响。其它还有基于特殊传感
4、器件的水果分类系统包括基于激光探测器，以及红外探测器的系统。特别地，由于水果类作物的图像具有显著的分辨特征，很容易进行图像特征采集，因此利用图像信息对水果分类和评级得到更为广泛的关注，可以在无损状态下进行快速而准确的自动分类。市场方面，水果产业是近年来快速发展的一个农产品产业, 据农业部统计, 2007 年我国水果产量已经达到1.05 亿吨 , 位居世界第1, 比5 年前增长了51%。但由于品种结构不合理, 产后商品化处理技术落后, 产品缺乏市场竞争力。西方发达国家在水果行业强调规模化、专业化, 在选果包装车间已普遍采用无损伤检测技术手段。因此，水果识别技术具有很高的市场推广价值。本课题将面向
5、市场需求，开发一套基于2D图像的实用水果识别系统，控制开发成本，预期可以取得良好的经济效益。1.2 国内外现状80年代起国外开始研究机器视觉技术，在农业方面的应用主要包括农业机器人、农业遥感分析、粮食及水果的品质检测等技术。以计算机图像处理为基础的智能识别水果技术具有分类精度高，分类结果客观准确，自动化程序高，对水果损伤少等优点，正在逐步取代现有的人工分类，是当前水果实时检测与自动化分类技术发展的必然趋势。我国这方面的研究和应用起步较晚，还处于人工和半机械阶段。人工分选在很大程度上依靠分选工人的个人经验，这种主观评定受到环境、视力、颜色鉴别力、情感、疲劳等的影响，劳动强度大，速度慢，而且人眼很
6、难定量估计着色、损伤等指标，大多数停留于定性评判，精度和可靠性低。另一方面，机械分选的主要指标是水果的大小和重量，不可避免对水果损伤，效率低，分选结果达不到国际要求。我国是世界果树大国，栽培历史悠久，品种丰富，水果和干果达50余种，是世界果树起源最早、种类最多的著名果树古国之一；同时，我国也是一个水果生产大国，据国家统计局统计，我国水果总产量约占世界总产量的14%左右，居世界首位。 但我国的水果出口量却很小，属于水果出口小国。造成这些现象背后其中一个主要原因就是国内水果的产后技术处理环节缺失。这其中存在行业技术推广的问题。反观世界发达国家，均将农产品的贮藏、保鲜和加工放在产业的首要位置。比如从
7、农产品的产值构成来看，农产品的产值70%以上是通过产后的贮运、保鲜和加工等环节来实现的。美国用于农产品采摘的费用仅占30%，而70%的资金都用在采后环节。农产品产后产值与采收时自然值的比例，美国为3.7:1，日本为2.2:1，我国仅0.38:1。目前发达国家水果产后商品化技术处理比例达到80-90%，而我国技术处理比例(包括简单手工分类的在内)还不到总产量的2%。除了规模化的工业应用之外，目前还没有将水果识别应用到消费产品中，图像智能识别技术可以与传统设备相结合，获得更好的用户体验，提高工作效率。在水果识别学术研究方面，从80年代开始，国内外就有学者研究水果的计算机自动识别，传统的水果识别仅仅
8、基于水果的轮廓曲线特征27，近年来出现了一些基于模式识别算法的较新方法，比如文献6,12描述了基于神经网络的水果识别系统，并利用了多种光谱下的水果图像来进行识别1。这些技术相比早期方法有了很大进步，但是还存在一些不足，大部分的研究都集中于分类器的设计，忽略了系统前端的图像信号采集和有效特征提取。神经网络系统对于输入的水果图像直接进行训练，没有考虑样本中存在的噪音。神经网络中最优参数的选择也只能根据经验。在图像采集方面虽然加入多光谱图像，但是成本较高，无法得到推广。在一个模式识别系统中，除了分类器的选择和训练，图像特征的筛选、采集环境、信号预处理、最佳训练样本选择都对系统性能有着重要影响，因此，
9、为了获得更好的性能，必须基于用户的实际需求，从一个系统、整体的观点，来构建一个更加有效的水果识别系统。借鉴国际发展历史，水果智能识别技术必将越来越多的进入行业领域，因此，作为水果分级、分类识别中核心的计算机图像处理技术，可使分类检测实现全自动化、摆脱传统人工操作，可以为行业发展提供广阔空间，利用新兴的先进技术手段和方法可以大大提高我国水果产后的处理水平，提高生产效率，提升我国水果国际竞争力。水果图像分类还可以广泛应用于商业销售环节，比如自动称重，自动计价，提供便捷的人机交互方式，减轻人工负担。1.3 研究目的和主要内容水果分类识别是一个范围很广的课题，前人多研究单类水果的品质分级，缺陷检测，水
10、果成熟度识别，机器人采摘系统等，鲜有研究多类水果识别的项目，而多类水果识别在实际中有着广阔的应用价值，比如在发达国家的超级市场，用户可以进行自助水果购买。在生产线上，多类分类还可以减少人工差错，提高生产效率。本文从国内外发展的状况及我国的国情出发，在现有项目组研究基础上，选取常见的几类水果为研究对象，主要内容是解决目前利用2D计算机图像来分类水果存在的问题，提高现有分类系统的识别精度，力求达到实用化水平。主要内容包括：（1）水果分类中的光照系统，水果识别系统工作在不同环境，而图像采集对于光照变化非常敏感，通过初步调研发现，现有的光照校正算法，无法彻底解决光照问题。为了从源信号保证系统的稳定性，
11、课题需要研究如何设计一套针对水果识别的光照系统。目标是保证室内环境和室外环境下，水果颜色的恒常性。机器视觉检测有很多相关的实际产品，可以作为设计参考。（2）水果图像预处理算法，获得水果图像后，由于CMOS或者CCD传感器不可避免存在噪音，各种器件噪音水平有差异，噪音对于提取稳定的水果特征是有害的，因此，在进行特征提取前，首先要进行图像预处理，包括噪音去除，图像对比度增强，颜色还原，预处理算法一般会对图像造成失真，失真过大将破坏图像原有结构，因此，在设计预处理算法时，要充分考虑到后续的特征提取，在噪音过滤和特征保持之间做一个合理的平衡。（3）提取描述水果的有效特征，包括形状，颜色和纹理。描述一个
12、水果需要很多特征，从人类视觉出发，这些特征包括水果形状，水果颜色，水果的纹理变化。不同的特征在分类中所起的作用是不同的，而且不同水果之间区分所用的特征也是不尽相同。在实际环境中，不同特征对于光照，角度的稳定性也是有差别，因此，需要设计一个完善的特征提取和组合策略，才能设计出一个性能很好的分类系统。基本的研究方法是进行计算机统计分析，在众多参数组合中进行优化。最终提取的水果特征，都表现为一串数字。特征提取是整个系统中最重要的一个步骤，这也是人类强大视觉识别功能的秘密所在。（4）水果分类器设计，特征提取结束后，每一张水果图像将得到一段数据，被输入到一个分类器中，经过判别，得出最终结果。分类器分为阈
13、值分类器，最近邻，神经网络12，支持向量机14,15，线性判别34等多种类型，每一种类型具有不同的计算复杂度和性能。但是，当特征提取足够优化时，他们之间的差别就不明显了，在实际系统中，着重考虑的是分类器的复杂度，一般的，都采用阈值分类器和最近邻分类器。（5）分类算法的实现。嵌入式系统实现，在嵌入式上实现复杂算法具有很大的挑战，一方面产品设计有确定的需求，算法须高度优化，并且系统的稳定性也非常重要。这需要学习特定嵌入式系统的架构，以便进行代码优化，常见的优化方式有循环拆解，减少内存数据拷贝，利用操作系统的进程通信特性等。1.4 论文的组织和安排本论文的各章具体内容安排如下：第一章介绍了本课题的研
14、究背景，总结传统水果图像处理系统的不足，指出了研究水果分类系统的必要性，并概括了主要研究的课题。第二章介绍了水果分类相关的基本理论基础和算法实现,详细讨论了本课题中使用的图像处理算法和模式识别方案。第三章阐述了水果分类系统的硬件整体设计和软件概要设计。包括光源、图像采集装置、嵌入式系统。第四章从工程实现角度，描述了软件详细设计和实现，包括具体数据结构定义，如何实现多线程，函数执行流程。第五章介绍了水果分类原型系统的实际应用和性能测试，包括识别精度、速度。并讨论存在的问题和后续开发方向。第六章总结了本课题的实施和完成情况，并对课题后续工作做了展望。 第二章 水果分类的图像算法设计2.1计算机数字
15、图像处理数字图像处理（Digital Image Processing）又称为计算机图像处理5,16，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。 数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊
16、者7号在1964年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动了数字图像处理这门学科的诞生。在以后的宇航空间技术，如对火星、土星等星球的探测研究中，数字图像处理技术都发挥了巨大的作用。数字图像处理取得的另一个巨大成就是在医学上获得的成果。1972年英国EMI公司工程师Household发明了用于头颅诊断的X射线计
17、算机断层摄影装置，也就是CT（Computer Tomography）。CT的基该方法是根据人的头部截面的投影，经计算机处理来重建截面图像，称为图像重建。1975年EMI公司又成功研制出全身用的CT装置，获得了人体各个部位鲜明清晰的断层图像。1979年，这项无损伤诊断技术获得了诺贝尔奖，说明它对人类作出了划时代的贡献。与此同时，图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就，属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使图像处理成为一门引人注目、前景远大的新型学科。随着图像处理技术的深入发展，从70年代中期开始，随着计算机技术和
18、人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。人们已开始研究如何用计算机系统解释图像，实现类似人类视觉系统理解外部世界，这被称为图像理解或计算机视觉。很多国家，特别是发达国家投入更多的人力、物力到这项研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论，这个理论成为计算机视觉领域其后十多年的主导思想。图像理解虽然在理论方法研究上已取得不小的进展，但它本身是一个比较难的研究领域，存在不少困难，因人类本身对自己的视觉过程还了解甚少，因此计算机视觉是一个有待人们进一步探索的新领域。 2.2水果分类的基本图像处理算法一个基本的图像处理系统
19、由照明系统、图像采集、图像预处理、图像增强、图像归一化等步骤组成。处理的每一个步骤对于系统性能都很关键，但是根据不同的需求，每一个步骤的重点会有所不同。图像处理是一项典型的串行工作流，在进行系统设计时，必须考虑步骤之间的联系，才能做到可靠、优化的性能。图像成像必须要有光源，物体表面的形状变化，物体材质的不同属性，将在图像上呈现不同色彩、亮度，这是成像的物理基础，因此必须考虑光源的设计。在工业检测领域，一般使用高纯度，光强分布均匀的LED光源（图2-1），但是其造价高。在技术指标满足的条件下，可以使用替代的光源，满足光强近似均匀，光源从上方垂直向下照射，距离水果约30cm，如图2-2。 图2-1
20、 工业LED光源 图2-2 水果识别的光源结构图像采集是将现实世界中模拟的图像信号转换为计算机可以处理的数字信号的过程。图像可以分为黑白图像和彩色图像，从采集器件方面考虑，目前业界成熟的技术有CCD和CMOS感光器件34,35。CCD （Charge-coupled Device），电荷耦合组件，是一种集成电路，上有许多排列整齐的电容，能感应光线，并将图像转变成数字信号。经由外部电路的控制，每个小电容能将其所带的电荷转给它相邻的电容。CCD的优点是光效率可达70%，并且是全局曝光成像，因此不会存在严重的拖影。但是缺点是尺寸较大，分辨率不容易提高，典型的CCD芯片如图2-3所示。而另一种广泛应用
21、的器件CMOS（Complementary Metal-Oxide-Semiconductor），互补式金属氧化物半导体，具有分辨率大，尺寸小，功耗低的特点，越来越多的应用到工业和消费领域。CMOS是所有硅芯片制作的主流技术，CMOS感光组件造价低廉，CMOS感光组件跟CCD相比，耗电量较低，数据传输亦较快，典型的CMOS芯片如图2-4所示。CCD和CMOS具有不同的技术特点，因而具有不同的应用市场。 图2-3 CCD传感器 图2-4 CMOS传感器 图像预处理，包括去除噪音、几何校正。CCD和CMOS都会受到各种电子信号、温度变化的干扰，因此采集的数字图像与现实世界图像相比，存在一定程度的噪
22、音（图2-5），这时需要使用图像滤波器进行图像去燥和平滑。采集系统中的光线是经过镜头透射到传感器表面，镜头的安装位置、镜头本身存在的缺陷，会导致图像失真，一般会对镜头进行标定，得到标定参数再进行图像校正，镜头成像光路如图2-6所示。 图2-5 图像噪音 图2-6 镜头成像光路 图像增强，图像采集过程中发生的噪音、图像模糊会降低图像质量，为了最大程度的还原图像信息，需要进行图像增强。特别的，图像处理系统往往关注图像某一方面的信息，比如颜色或者形状或者纹理，不同信息对于图像质量的要求是不同的，图像增强的目的就是最大化保留将要关注的信息。例如，颜色增强的方法是调节图像的彩色直方图分布，形状增强的方法
23、是通过边缘检测，纹理增强方法是通过对比度调节，锐化滤波器实现。图像锐化和图像平滑的效果如图2-7和2-8所示。 图2-7 图像锐化效果 图2-8 图像平滑效果2.3水果的图像特征经过图像处理后，为了区分每一类水果不同的特点，需要对水果图像进行特征提取。根据文献29，基本的水果图像特征包括：水果大小、水果形状、水果颜色。下面将讨论如何提取得到这三个特征。水果大小，当图像传感器的距离与水果固定时，水果大小就是水果在图像中所占像素个数。为了计算水果像素个数，需要让计算机计算水果在图像中的区域。由于水果的形状是无法预测的，而且水果放置的位置也无法精确固定和测量。但是如果已知拍摄场景的背景，并且水果像素
24、与背景像素不同，将含有水果图像的图像减去背景图像，则可以得到哪些像素发生了变化，即水果区域，这种方法称为背景差分法，如图2-9所示： 图2-9 水果区域提取方法在实际情况中，背景颜色的选择不能和水果颜色冲突，白色和黑色是合适的选择，考虑到光源对于白色背景会有强烈的反光，不利于表现水果的细节特征，因此选择黑色纸背景。由于摄像机的固有噪音，即使有光源，还是会受到环境光的感染，拍摄的背景图像不是理想的黑色，存在噪音，需要进行平均多幅背景图像去除噪音。最后得到的水果区域也不是理想的，可能会存在多个区域。注意到干扰的多个区域面积都比真正水果区域小很多，所以直接取最大的区域作为水果区域。水果形状，图像的形
25、状特征包括周长、边界弯曲程度、接近圆的程度。苹果、橘子等水果边界都较为光滑，都接近圆形，而香蕉则属于条形，梨子属于长方形。假设水果区域面积为, 周长为，选择圆度参数参数来衡量形状接近圆的程度，如果为圆，则数值等于，若大于，则说明为非圆形。数值越大，越接近长方形。为了分析水果长轴和短轴，还可以进行下面的计算，假设水果形状可以建模为长方形，其变长分别为，那么根据测量的和，可以得到方程：(1)(2)计算出后，可以利用来定义长方形的长宽比，满足水果的颜色，颜色是区分各类水果最重要的一个特征，水果的颜色与水果品种直接相关。但是颜色不仅仅与物体的材质相关，还与成像的环境有关。人类可以观察到的颜色种类大约为
26、一千六百多万种，而一般的图像采集系统很难达到如此精确的颜色还原度。幸运的是，区分常见种类的水果不需要如此高的颜色区分度。图像的颜色36一般使用颜色直方图表示，由于存在各种颜色空间，常用有RGB，CMY，HSV , RGB（红绿蓝）是依据人眼识别的颜色定义出的空间，可表示大部分颜色。常见的液晶显示器即采用这种颜色空间。但在科学研究一般不采用RGB颜色空间，因为它的细节难以进行数字化的调整。它将色调，亮度，饱和度三个量放在一起表示，很难分开。CMY是工业印刷采用的颜色空间。它与RGB对应。简单的类比RGB来源于是物体发光，而CMY是依据反射光得到的。具体应用如打印机：一般采用四色墨盒，即CMY加黑
27、色墨盒。HSV颜色空间是为了更好的数字化处理颜色而提出来的，H是色调，S是饱和度，V是亮度。研究表明，HSV比较接近人类的视觉特性。图2-10表示了RGB和HSV颜色空间的特点。 (a) RGB三原色 (b) RGB颜色空间 (c) HSV颜色空间 (d) H色盘 图2-10 RGB和HSV颜色空间各种颜色空间可以进行转换，比如RGB转换为HSV，可以按照以下步骤进行：设 (r,g,b)分别是一个颜色的红、绿和蓝坐标，为0到1之间的实数。设max为r,g和b的最大值。设min为r,g和b的最小值。对应HSV 空间中数值计算公式36：(3) 在水果颜色中，起关键作用的是H，色调。其含义是颜色的主
28、要成分，比如苹果的颜色主要为红色，而香蕉为黄色。在H色轮上，可以看出苹果与香蕉落在不同的点上。但是在实际系统中，光源与水果之间的距离非常近，光源不能视为平行光，水果是三维物体，水果上不同点到光源的距离不同，表面曲率也不同，所以拍摄的图像光照会出现不均匀分布，尤其是在水果区域边缘，由于曲面向下弯曲，光照强度急剧变化，逐渐接近背景颜色。随着亮度的降低，在HSV圆锥模型上，颜色将收缩到底部的顶点，在这一点处，色度和饱和度将失去物理意义，因为色盘已经收缩为一点。如图2-11所示，苹果在外置光源的作用下黄色标注的内圈部分由于距离光源较近，亮度比较高，颜色还原度比较真实，而绿色标注的外圈由于距离光源较远，
29、亮度降低很快，颜色还原度较差。为了获得更加准确的颜色信息，在计算色调H的直方图时，亮度值小于某个阈值的像素点将被忽略。亮光区域暗光区域图2-11 水果图像光照变化直方图是一种衡量样本统计分布特性的方法。估计一组样本最简单的特征是均值，但是单独一个均值信息量太少，无法区分一些复杂的情况。直方图将数值分为若干个连续的区间，对于给定的大量样本，分别计算落入每一个区间的数量，由此形成一组数。这组数表示了样本在不同区间上的出现概率，具有很好的物理意义。一个典型的高斯分布的直方图图2-12所示： 图2-12 直方图示意图在图像识别中，直方图广泛用于度量图像的相似性，其优点：数据量小，便于快速计算。一副图像
30、含有上百万个像素点，每一个点都有颜色值，直接计算图像之间的差异，计算量非常大。通过将图像像素统计为直方图，可以大大减少计算量。比如色度H的典型数值范围为0,360, 相比原始图像，节省了几百倍的运算量。数值更加稳定，由于传感器本身，原始图像存在固有的噪音，同类水果本身颜色也是有一定差别的，直方图是多个像素平均的数值，因此，可以很好的减弱噪音的影响，使得计算结果具有一定的稳定性。直方图是一种抽象的特征，与图像的位置，大小，形状无关。因此，对于水果图像的很多变化，都可以很好的描述其颜色属性。2.4水果图像分类器图像识别是一个复杂的课题，图像识别属于模式识别的一个分支，这个极具挑战性的课题吸引了无数研究人员的努力。对于人类而言，图像识别含义是对于出现在视觉场景中的物体，大脑通过计算给出其类别。研究人员的梦想是通过仿真人类的大脑，创造出一个与之功能相当的计算机，完成人类可以完成的识别任务。限于目前对于人类大脑的了解还非常肤浅，目前的识别模型是一种非常简化的模型。模式识别，所指的是一种过程，该过程首先对现实世界的物体分为若干类模型，然后通过某种感知方式，将感知数据（比如图像）转化为某种模式（对应直方图），选择出与
