1、机器人视觉传感技术及应用 现代测试技术课程 题目 机器人视觉传感器的应用 姓名 班级 测控122 学号 小组成员 机器人视觉传感器的应用摘 要机器人视觉技术是指机器人工作时通过视觉传感器对环境物体获取视觉信息，让机器人识别物体来进行各种工作。本文介绍了机器人技术中所常用的视觉传感器的种类、结构。原理和功能。介绍了弧焊机器人视觉传感技术较为前沿的一些应用和研究，包括焊缝跟踪和获取熔池信息。简要说明了视觉技术在农业采摘机器人方面的应用。关键词：机器人、视觉、弧焊、采摘机器人1绪论机器人视觉是使机器人具有视觉感知功能的系统。机器人视觉可以通过视觉传感器获取环境的一维、二维和三维图像，并通过视觉处理器
2、进行分析和解释，进而转换为符号，让机器人能够辨识物体，并确定其位置及各种状态。机器人视觉视觉侧重于研究以应用为背景的专用视觉系统，只提供对执行某一特定任务相关的景物描述。机器人视觉硬件主要包括图像获取和视觉处理两部分，而图像获取由照明系统、视觉传感器、模拟数字转换器和帧存储器等组成。根据功能不同，机器人视觉可分为视觉检验和视觉引导两种，广泛应用于电子、汽车、机械等工业部门和医学、军事领域。 2. 机器人常用的视觉传感器2.1光电二极管与光电转换器件图2.1是pn型光电二级管的结构。如果让光子射入半导体的pn结边界耗尽层，就会激励起新的空穴。利用电场将空穴和电子分离到两侧，就可以的到与光子量成比
3、例的反向电流。Pn型元件的优点是暗电流小，所以被广泛用于照度计和分广度计等测量装置中。图2.1 pn型光电二极管结构在高响应的发光二极管中pin结型与雪崩型。前者在pn结边界插入一个本征半导体i层取代其耗尽层。给它施加反向偏压，可以减少结电容，获得高速响应；而后者是在pn结上加100伏左右的反向偏置电压产生强电场，激励载流子加速，与原子碰撞产生电子雪崩现象。这些高速型二极管的响应速度很快，能用于高速光通信等。2.2 PSDPSD（Position Sensitive Detector，位置敏感探测器）是测定入射光位置的传感器，由发光二级管、表面电阻膜、电极组成。入射光产生的光电流通过电阻膜到达
4、元件两端的电极，流入各个电极的电流与电阻值存在对应关系，而电阻值又与光的入射位置及到各个电极距离成比例，因此根据电流值就能检测到光入射的位置。PSD元件中有一维和二维两种，它们都具有高速性，但要注意入射到开口部分的散射光的影响。2.3CCD图像传感器 电荷耦合器件（CCD：Charge Coupled Device）图像传感器是由多个光电二极管传送储存电荷的装置。它有多个MOS（Metal Oxide Semiconductor）结构的电极，电荷传送的方式是通过向其中一个电极上施加与众不同的电压，产生所谓的势阱，并顺序变更势阱来实现的。根据传送电荷需要的脉冲信号的个数，施加电压的方法有两相方式
5、和三相方式。CCD图像传感器有一维形式的，是将发光二极管和电荷传送部分一维排列制成的。此外还有二维形式的，它可以代替传统的硒化镉光导摄像管和氧化铅光电摄像管二维传感器。二维传感器属于水平和垂直传送电荷传感器，传送方式有行间传送、帧行间传送、帧传送及全帧传送四种方式。图2.2所示为行间传送方式，采取一维摄像区域（接收部分）与传送区域平行布置结构的方法。接收部分多使用二极管。每一帧曝光所储蓄的电荷分别被垂直或水平的传送，然后以图像信号的形式被取出。在CCD内部电荷传送的效率非常高，因此其具有高的灵敏度。由于整个传送区域是被遮光的，所以在传送中不会曝光。图2.2 CCD摄像器件的结构CCD图像传感器
6、把垂直寄存器用作单画面图像的缓存，所以可以将曝光时间和信号传送时间分离开。也就是说，其具有所有像素能在同一时间曝光的特点。2.4 CMOS图像传感器CMOS图像传感器是由接收部分（二极管）和放大部分组成的一个个单元，然后按照二维排列。由于放大器单元之间特性的分散性大，以至于其噪声比较大。不过，近年来噪声消除电路的性能已经得到改善，故使COMS图像传感器得到迅速普及和应用。CMOS传感器的优点是耗电低，并利用一般半导体制造技术就可以完成CMOS处理器的设计和加工，这都是有利于图像处理电路和图像传感器的单片化和低成本化。3. 弧焊机器人视觉技术焊接作为一种机械加工的重要特殊工艺手段，在制造业中具有
7、举足轻重的地位，但是，传统的手工焊接力一法己经不能满足现代高新技术产品制造的要求。囚此，保证焊接产品质量的稳定性、提高生产效率、减轻工人的劳动强度和改善劳动环境己经成为现代焊接技术极待解决的问题。随着先进制造技术的发展，实现焊接产品制造的自动化、柔性化与智能化己经成为必然趋势。焊接机器人具有通用性强、工作可靠的优点，但是无法自主获取工件定位信息、焊缝空间位置信息、焊缝熔透信官、，当焊接对象改变时需要重新示教，造成工作效率低下，囚此智能化是焊接机器人的发展趋势。焊接机器人智能化技术是指在焊接机器人上装配各种传感器，使焊接机器人对外界环境具有一定的感知能力，从而使焊接机器人可以自主地适应环境，并根
8、据环境的变化，对自身下一步操作自主调整。使用焊接传感器的日的是为了实现焊接过程的自动控制，进而实现焊接的智能化。焊接传感器根据原理可以分为声学、力学、电弧和光学传感器等。声学传感器主要用于GMAW过程熔滴过渡的检测、等离子穿孔焊等。力学传感器能够反映熔池振荡频率同熔池体积之间的关系，但日前只能用于步进焊接，无法实现连续行走。电弧传感器由于直接检测电弧自身的特性，不需要外加传感器及附件，应用简单，主要用于焊缝跟踪和熔敷控制。据统计，焊工进行手弧焊操作时获取的信息有80%来自视觉。熟练的焊接工人通过观测熔池、工件的接头、电弧的形状和熔滴过渡形式等来预测背而的形状和尺寸参数，通过调节焊接参数实现熔透
9、的控制，保证焊接质量的稳定。下文介绍了视觉传感技术及其在机器人焊接中的作用。3.1 弧焊视觉传感技术的优点与传统的传感方法相比，光学传感器具有不与焊接回路接触、不与焊接工件接触、信号的检测操作不影响正常的焊接过程、传感信息丰富、硬件设备简单、易于维护的优点。电子技术、光学技术、机器视觉和图像处理技术为视觉传感技术提供了软硬件支持，如光学器件和摄像机成本下降、性能提高、可靠性改善，图像处理硬件性能改善和种类的增多为视觉传感器提供了硬件支持，机器视觉、图像处理和软件技术的发展为视觉传感器提供了软件保障，因此光学传感器在焊接过程中具有非常广泛的应用前景。光学传感器根据光学器件所工作的波段可以分为X射
10、线传感器、视觉传感器和红外传感器三种。3.2焊接熔池视觉传感熔池形状和尺寸对于焊缝成形具有非常重要的作用，熔池形状和尺寸的传感是焊缝成形控制的基础，焊接过程中的声、光、电、磁、热等信急可以用来传感熔池的形状信息。3.2.1主动式一维视觉传感技术对于连续电流GTAW，熔池连续处在强烈电弧光的笼罩下，采用常规的CCD摄像方法很难排除弧光干扰得到清晰的熔池原始图像。有人提出了一种由高能量密度脉冲激光器和与激光脉冲同步的电子快门频闪高速摄像机组成的“频闪视觉”系统检测高亮度区景物的方法。辅助光源采用高密度脉冲激光或者Xe灯闪烁光源在脉冲期间强度高于弧光强度，视觉传感器采用频闪高速CCD摄像机捕捉瞬时清
11、晰的熔池图像。频闪视觉方法在GMAW、GTAW、等离子弧焊（PAW）、电子束焊（EBW）、激光焊（LW）过程中均获得了清晰度和对比度都较好的熔池图像，如图3.5所示。图3.5频闪视觉熔池图像传感3.2.2 被动式二维视觉传感技术图3.6是GTAW同轴检测方法的示意图。有人开发了一套放置在焊炬内部与电极同轴观测焊接熔池的集成视觉传感系统，在TIG焊熔池观察和MIG焊焊缝跟踪等方面进行了初步的研究。针对低碳钢TIG焊辐射源中各组分发光机理及规律进行的研究,发展了一种在电弧焊条件下获得焊接区图像的光谱传感方法，该方法能够使电弧光谱中各组分的光强在可见光范围内得到调整和控制，从而使熔池图像质量明显提高
12、, 如图3.7所示。在连续光谱选取取像窗口,利用熔池液态金属表面对电弧光的镜面反射及未熔化的和已凝固的工件表面对电弧光的漫反射获取熔池图像，提高熔池图像的对比度。获取熔池正面图像时，开发了由窄带滤光片和中性滤光片组成的复合滤光系统抑制并充分利用弧光。同时开发了一套熔池同时同幅图像传感系统，它通过两条独立的光路将同时刻的熔池正反面的图像聚焦于摄像机的CCD靶面，如图3.8所示。图3.6 GTAW同轴熔池检测方法图3.7光谱传感方法图3.8 熔池正反面图像同时同幅传感系统3.2.3主动式三维视觉传感技术相对于二维信息而言，焊接区的三维信息在表现焊接熔池形状、焊缝成形方面更具有优势。为了获取熔池表面
13、的三维信息,有人设计了一套由强脉冲激光栅格状多结构光条纹和高速电子快门摄像机组成的熔池视觉检测系统，摄像机的电子快门与激光脉冲同步，检测正面熔池的下塌量,如图3.9所示。在摄像机成像光路系统中加了与激光波长相匹配的窄带滤光片，有效地抑制了弧光的干扰，进一步提高了图像的信噪比，获得了非常清晰的TIG焊熔池表面反射图像。采用一定的图像处理算法可以提取结构光条纹的栅格框架和轮廓，进而可以计算出熔池正面的高度，建立了正面焊缝平均下塌量与反面熔宽之间关系的数学模型。图3.9结构光视觉传感 焊接智能化、机器人化是焊接技术必然的发展趋势，但是焊接过程控制的关键是信息传感。焊接过程传感信息包括光学、声学、力学
14、、电磁学等，视觉传感技术以其特点成为将来最有发展前景的传感技术之一。弧焊机器人中的视觉传感技术，将随着相关技术的发展，进一步推动焊接智能化技术发展。4.机器视觉在农业机器人中的应用根据机器人视觉技术的不同层次,其在农业机器人中的应用也有所不同。一维成像视觉技术只是通过视觉传感器对作业对象的某一个特征值进行检测,如光的强度、作业对象的颜色等。一维成像的视觉技术由于简单、易于实现,因而在刚开始时得到了较多的应用。但是由于一维成像技术反馈回来的信息量少,不太全面,因此限制了它的应用范围。所以,应用越来越多的是二维成像的视觉技术。二维成像视觉技术是由不同位置的两台或者一台摄像机 (CCD)经过移动或旋
15、转拍摄同一幅场景,通过计算空间点在两幅图像中的视差,获得该点的三维坐标值。在人类获取信息的感观中,视觉所得到的信息量是最大的。依靠两只眼睛,我们可以感觉到景物的深度,而不是两张图片的简单重叠。这样的二目视觉技术如果能够应用到计算机视觉中,将给农产品的采摘带来非常大的便利。在果实采摘机器人中,通过二维成像的视觉技术就可以对看到的图像进行分析处理,由图像轮廓的形状判断出果实所在的位置,同时对其成熟度 (如颜色)进行检测,由此决定是否采摘以及如何对果实进行采摘。Grass等人研究的机器人具有独立的可伸缩性,安装在一个公共平台上,由液压系统支持。每一个机械臂末端安装了一个带广交镜的小摄像机,由于从不同
16、的视点进行获取图像,因此,用立体匹配算法计算水果的具体位置,将 RGB图像阀值化为二值图像,经过平滑处理和边界检测后,估算中心位置,结果表明有 86%的检出率和 5%的误识率。郑小东等以番茄的形心为匹配基元进行双目视觉的研究,通过模板匹配实现番茄图像轮廓信息的补全和修复,然后根据轮廓特征求的形心,当两个摄像机都能拍摄到完整轮廓时,可以确定番茄的空间位置。但该算法对图像的噪声很敏感,影响了精度。在对果树修枝的机器人中,采用视觉传感器对果树的枝干进行二维成像,通过图像识别确认果树各个枝干的生长情况,将其在计算机中与果树修枝的标准要求对比,由此来决定如何修整果树,并通过视觉传感器反馈机器人手臂的动作
17、,从而引导机器人用手部的剪刀将无用的枝条剪掉。随着科技的发展,人们的要求也越来越高。为了更加全面地掌握作业对象的信息,三维成像的视觉技术也开始进入了人类的研究范围。三维成像视觉技术主要是以二维成像视觉技术为基础,通过用不同角度的视觉传感器对作业对象进行二维成像,数据送入计算机后再进行分析处理,最终合成作业对象在空间的三维图像,其原理与我们人的眼睛类似。机器人根据此图像即可决定对作业对象的不同操作。在将采摘、 检测、 分级合为一体的农业机器人中,通过三维成像的视觉技术,机器人首先就可以判断并确定果实所在的位置、 果实的空间形状,并检测出果实的大小、 成熟度等,然后根据分级的标准将果实放入不同的箱
18、内。更加智能的三维成像视觉技术将自动引导机器人在果园内行走,搜索、发现并识别目标,然后对成熟的果实进行采摘、自动分级,最后再进行自动包装。如果机器人的控制软件开发得足够丰富的话,则带有三维成像视觉技术的机器人将是一个全能机器人,它不仅能完成果实的检测、采摘、 分级和包装,而且还能对果树进行修整、 施肥等,完成对果树的日常维护。随着三维成像视觉技术的日益成熟,农业机器人将会走向一个更加辉煌的时代。参考文献：1（日）日本机器人学会 编，宗光华，程君实 等译. 机器人技术手册M. 科学出版社 2008-1-12 李来平. 弧焊机器人视觉技术J.现代焊接, 2007,83 吕宏明,姬长英. 视觉技术在农业采摘机器人中的应用及发展J.江西农业学报. 2008，20（2）：7980.4 鲍官军,荀一,戚利勇,杨庆华,高峰. 机器视觉在黄瓜采摘机器人中的应用研究J.浙江工业大学学报.2010-2,38(1)
