移动机器人的视觉的图像处理分析方法研究.docx
- 文档编号:605360
- 上传时间:2023-04-29
- 格式:DOCX
- 页数:32
- 大小:729.35KB
移动机器人的视觉的图像处理分析方法研究.docx
《移动机器人的视觉的图像处理分析方法研究.docx》由会员分享,可在线阅读,更多相关《移动机器人的视觉的图像处理分析方法研究.docx(32页珍藏版)》请在冰点文库上搜索。
移动机器人的视觉的图像处理分析方法研究
移动机器人的视觉的图像处理分析方法研究
TheResearchofMobileRobot'sVisual Image ProcessingandAnalysis Method
摘要
移动机器人研究中关于机器视觉的研究正处于上升期,图像处理的丰富内容既给出了挑战,又给研究人员提供了广阔的研究平台。
本文从移动机器人的视觉系统开始,首先介绍了移动机器人视觉系统的概况和技术原理。
然后依次阐述了移动机器人单目系统、双目系统和全景系统的基本原理,并且利用实例来具体说明基于这三种视觉系统的图像处理方法。
其中,基于单目视觉的移动机器人SLAM方法,是将CCD摄像头和里程计组合,来实现SLAM。
为提高定位的精确性和避免误定位的发生,在基于里程计定位的基础上,将不同视角的视觉图像种提取的特征进行匹配,并且根据极线几何计算摄像头旋转的角度,得到摄像头与里程计的角度冗余信息,采用扩展卡尔曼滤波(EKF)对信息进行融合,从而提高SLAM的鲁棒性。
而对于基于双目视觉的移动机器人,针对立体视觉算法复杂、计算耗时等特点,提出了一种实时立体视觉系统的嵌入式实现方案,采用高性能多媒体DSP芯片TMS320DM642为核心构建双通道视频采集系统。
利用高性能DSP芯片,满足了实时性要求,摆脱了以往用PC机实现的环境约束,计算速度慢和大功耗等缺点。
针对高精度要求的室外机器人定位问题,可以设计一种基于全景视觉近红外光源照明、全景视觉观测和人工编码路标相结合的室外机器人定位系统。
该系统通过近红外光成像降低光照和阴影的影响,利用全景视觉获取大范围环境信息,依靠图像处理算法识别路标,最后用三角定位算法完成机器人定位。
Abstract
Themobile robotresearches on machinevision areontherise,andtherich contentofimageprocessingnotonlygives theresearchers the challenges, butalso providesthemabroad platform.
Thetextbeginswithrobot visionsystem.Firstly,itpresents anoverview and technicalprinciplesofthemobile robotvisionsystem. Thenitdescribed thebasicprinciplesofthemonocularmobilerobot system,the binocularmobilerobot systemand thethree-eyemobilerobotsystem. And itspecifies theseimageprocessingmethodsbasedonthethreevisual systems.
Amongthem,the SLAM method, whichbases monocularvisionmobilerobot,is thecombinationofCCDcameraand odometer. Toimprovethe positionaccuracyandavoid theoccurrenceof positionerrors,matchthe kindsoffeaturesbasedonthe differentperspectives ofthe visual image inthe baseofodometerlocation. Wecancalculate thecamera rotationangleaccordingto epipolargeometry, get theredundantinformationofcamera angle withthe odometer,and integrateinformation byusing extendedKalmanfilter (EKF). Thereby,thatcanenhance therobustnessof SLAM.
For mobilerobot basedon binocularvision, stereovision algorithms are complex, time-consuming,etc.wecan presenta real-time stereovisionplanby embeddingsystem.Ittakes high-performance multimedia TMS320DM642 DSPchip asthedual-channel video acquisitionsystem.The real-timerequirementsaremetby high-performance DSPchip. Thismethodgetsridofthepast environmentalconstraintswith thePC, the slowcalculation andthelarge powerconsumption, andothershortcomings.
Forrequirements for high-precision outdoor robotlocalization problem,youcan designanoutdoor robot positioningsystembasedon near-infrared lightsource lighting,panoramic visualobservationand manualcode.The systemreduce theimpactof lightandshadowbynear-infraredlight image,getawiderangeof environmentalinformationby panoramic visual system,identify roadsignsbyimageprocessing algorithmsandcomplete thefinal robot positionbytriangulation algorithms.
引言
视觉是人类获取信息最丰富的手段,通常人类75%以上的信息来自眼睛,而对于驾驶员来说,超过90%的信息来自于视觉。
同样,视觉系统是移动机器人系统的重要组成部分之一,视觉传感器也是机器人获得周围信息的感知器件。
近十年来,随着研究人员投入大量的研究工作,计算机视觉、机器视觉等理论不断发展与完善,移动机器人的视觉系统已经涉及到了图像采集、压缩编码及传输、图像增强、边缘检测、阈值分割、目标识别、三维重建等几乎机器视觉的各个方面。
目前机器人视觉系统主要用于以下三方面。
(1)用视觉进行产品的检验,代替人的目检。
包括:
形状检验,即检查和测量零件的几何尺寸、形状和位置;缺陷检验,即检查零件是否损坏划伤;齐全检验,即检查部件上的零件是否齐全。
(2)对待装配的零部件逐个进行识别,确定其空间位置和方向,引导机器人的手准确地抓取所需的零件,并放到指定位置,完成分类、搬运和装配任务。
(3)为移动机器人进行导航,利用视觉系统为移动机器人提供它所在环境的外部信息,使机器人能自主地规划它的行进路线,回避障碍物,安全到达目的地并完成制定工作任务。
随着技术的发展,研究人员也提出了视觉伺服的概念。
尽管如此,机器人的视觉对于机器人来说还没有达到视觉相对于人类如此重要的地步,主要原因是视觉信息处理的理论与方法还不够完善。
摄像头能在极短的时间内扫描得到数百万乃至上千万的像素的环境图像,甚至超过了现在人类眼睛的信息采集能力,但在处理方法及处理速度上目前却远不能和人类相比。
不过,可以相信随着微电子技术的进步和计算机视觉的发展,机器人的视觉功能越来越强大,同时机器视觉在移动机器人信息感知中所占的比重也会越来越大。
一、移动机器人视觉系统
赋予移动机器人以人类视觉功能,能像人一样通过视频处理而具有从外部环境获取信息的能力,这对于提高机器人的环境适应能力、自主能力,最终达到无需人的参与,仿真人的行为,部分的代替人的工作,对发展移动机器人是极其重要的。
视觉系统包括硬件与软件两部分。
前者奠定了系统的基础;而后者通常更是不可或缺,因为它包含了图像处理的算法及人机交互的接口程序。
从广义上说,移动机器人的视觉即是通过传感器获得可视化的环境信息的过程,这不仅包括可见光的全部波段,还包括了红外光的某些波段和特定频率的激光、超声波,如图1所示。
超声波传感器使用维护简单、价格便宜,在过去的几十年里得到了大量使用,但也存在不甚精确的缺点。
激光传感器精确度高,虽然价格偏高但目前越来越多地得到人们的青睐。
相对于前两个者,工作于可见光频段的摄像机获取的环境信息则显得十分丰富,这为其后的图像处理提供了广阔的空间。
图1电磁波谱及声学谱
视觉传感器有主动传感器和被动传感器两类。
包括人类在内的大多数动物具有使用双目的被动传感器;也有类似蝙蝠的动物,具有从自身发出的超声波测定距离的主动传感器。
通常主动传感器的装置复杂,在摄像条件和对象物体材质等方面有一定限制,但能可靠地测得二维信息。
被动传感器的处理虽然复杂,但结构简单,能在一般环境中进行检测。
超声传感器与激光属于主动传感器;绝大部分情况下摄像机、红外传感器均属于被动传感器,只有在待定情况下,如深水移动机器人视觉传感器自身带有光源才属于主动传感器。
传感器的选用要根据目的、物体、环境、速度等因素来决定,有时也可考虑使用多种传感器并行协调工作。
而且应用于移动机器人的视觉算法有别于其他方面的应用,其具体要求主要体现在:
(1)实时性要求
即算法处理的速度要快,它不但直接决定了移动机器人能够行驶的最大速度,而且也切要关系到整个导航系统的安全性与稳定性。
举例来说,机器人的避障算法都需要提前知道障碍物的方位以便及时动作,这种信息获得的时间越早,则系统就会有更多的时间对此做出正确的响应。
由于视觉信息处理巨大的计算量对算法程序的压力很大,对室外移动机器人尤其如此。
(2)鲁棒性要求
由于移动机器人的行驶环境是复杂多样的,要求所采用的立体视觉算法能够在各种光照条件、各种环境下都尽可能保证其有效性。
室内环境的机器人导航环境相对较好,但对于室外移动机器人或者是陆地自主车ALV,不确定性因素增加了很多,比如光照变化、边缘组织等,也不存在道路平坦的假设。
为此,视觉导航算法在各种环境下都要求保证其有效性。
(3)立体视觉算法也应该满足精确性要求
但这种精确性与虚拟现实或者三维建模所要求的精确性是有所差别的,因为立体视觉算法对道路地形进行重建的最终目的是为了检测障碍物,而不是为了精确描绘出场景。
对于移动机器人来说,有时候忽略细节可以提高整个系统的稳定性。
一般来说,移动机器人的视觉系统总是要有以下一些组成部分:
a.一个或多个光信号发生器,可以是天然信号发射器(如物体环境光线的反射光),或是人造光信号发射灯(如闪光灯、激光光源)。
b.用以接受结构体反射光信号的一个或多个传感器(如摄像机,这种摄像机产生的图像可以说是原始图像,但这种传感器不一定是光学传感器,也可以是超声波传感器。
c.图像采集卡,将接受的图像转换为计算机可以识别的二进制编码以便随后进行处理。
d.对图像进行增强去噪并对其中的缺陷进行清除和矫正等。
e.将变换后的图像进行图像存储描述,给出必要的信息。
f.特征抽取,根据各种定律、算法和其他准则导出相关信息。
g.目标识别,用来把抽取的图像特征与在训练阶段记录下来的图像特征进行比较。
识别可能是总体识别、局部识别或者零位识别。
不管结果如何,机器人都必须按照识别过程的结果决定采取相应的动作。
在这一阶段,任何误差都可能造成性能上的不确定性。
从移动机器人的视觉技术来看,可以分为单目视觉系统、双目视觉系统、全景视觉系统三类。
二、移动机器人单目视觉系统
1.1摄像机参考坐标系
对于单目摄像机来看,一般采用最简单的针孔模型。
在摄像机的针孔成像模型(PinholeImagingModel)中,有四种参考坐标系。
(1)图像坐标系(Pixelcoordinatesystem)
摄像机采集的数字图像在计算机内可以存储为数组,数组中的每一个元素(像素,pixel)的值即是图像点的亮度(灰度)。
如图2所示,在图像上定义直角坐标系u-v,每一像素的坐标(u,v)分别是该像素在数组中的列数和行数。
故(u,v)是以像素为单位的图像坐标坐标系。
图2像坐标系和成像平面坐标系
(2)成像平面坐标系(Retinalcoordinatesystem)
由于图像坐标系只表示像素位于数字图像的列数和行数,并没有用物理单位表示出该该像素在图像中的物理现象,因而需要再建立以物理单位(如mm)表示的成像平面坐标系x-y,如图2所示,用(x,y)表示以物理单位度量的成像平面坐标系的坐标。
在x-y坐标系中,原地啊定义在摄像机光轴和图像平面的交点处,称为图像的主点(PrincipalPoint),该点一般位于图像中心处,但由于摄像机制作的原因,可能会有些偏离。
在图像坐标系下的坐标为(),每个像素在x轴和y轴方向上的物理尺寸为dx、dy,两个坐标系的关系如下:
式中——因摄像机成像平面坐标轴相互不能正交引出的倾斜因子(SkewFactor)。
(3)摄像机坐标系(Cameracoordinatesystem)
摄相机成像几何关系如图3所示,其中:
O点称为摄像机光心;轴和
轴与成像平面坐标系的x轴和y轴平行;轴为摄像机的光轴,与图像平面垂直。
光轴与图像平面的交点为图像主点,由点O与、、轴组成的直角坐标系称为摄像机坐标系。
O为摄像机焦距。
图3摄像机坐标系和世界坐标系
(4)世界坐标系(Worldcoordinatesystem)
在环境中还选择一个参考坐标系来描述摄像机和物体的位置,该坐标系称为世界坐标系,也称为真实坐标系或客观坐标系。
摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移矢量t来描述。
由此,空间中一点P在世界坐标系和摄像机坐标系下的齐次坐标系分别为与,且存在如下关系:
式中R——3×3正交单位矩阵;
t——三维平移列向量,。
1.2摄像机线性模型
透视投影最常用的成像模型,可以用针孔透视(PinholePerspective)或中心透视(CentralPerspective)投影模型近似表示。
真空模型的特点是所有来自场景的光线均通过一个投影中心,它对应于透镜的中心。
经过投影中心且垂直于图像平面的直线称为投影轴或光轴,如图3所示。
投射投影产生的是一幅颠倒的图像,有时会设想一个和实际成像面到针孔等距的正立的虚拟平面。
其中,x-y-z是固定在摄像机上的直角坐标系,遵循右手法则,其原点位于投影中心;z轴与投影重合并指向场景,轴、轴与图像平面的坐标轴x和y平行;-平面与图像平面的距离为摄像机的焦距f。
摄像机坐标系与成像平面坐标系之间的关系如下:
式中(x,y)——P点在成像平面坐标系下的坐标;
(——空间点P在摄像机坐标下的坐标。
用齐次坐标系矩阵来表示:
将x,y和带入上式,得到图像坐标系和世界坐标系之间的关系:
式中,,s=s’f;
——表示在矩阵矢量X的最后一个元素后添加1;
[Rt]——完全由摄像机相对于世界坐标系的方位决定,称为摄像机外部参数矩阵,它由旋转矩阵和平移矢量组成;
K——只与摄像机内部机构有关,称为摄像机内参数矩阵,相应的,,,,s叫做摄像机的内参数。
其中,()为主点坐标,,分别为图像u轴和v轴上的尺度因子,s是描述两图像坐标轴倾斜程度的参数;
P——为3×4矩阵,称为投影矩阵,即从世界坐标系到图像坐标系的转换矩阵。
旋转矩阵的三个参数以及平移矢量t的三个参数被叫做摄像机的外参数。
可见,如果已知摄像机的内外参数,就已知投影矩阵P,对任何空间点,如果已知其三维坐标(),就可以求出其图像坐标系的位置(u,v)。
但是,如果知道空间某点的图像点的坐标(u,v)即使已知投影矩阵,其空间坐标也不是唯一确定的,它对应的是空间的一条直线。
1.3移动机器人基于单目视觉的应用
基于单目视觉的移动机器人SIFT算法研究
移动机器人大多采用机载传感器,如激光测距仪、声纳及摄像头等。
近年来,随着图像处理技术的进步(如SIFT算法),以及CCD摄像头具有代价低、重量小、能耗小等优点,基于视觉的SLAM越来越受到国内外学者的重视。
目前,基于单目视觉的移动机器人SLAM方法,是将CCD摄像头和里程计组合,来实现SLAM。
为提高定位的精确性和避免误定位的发生,在基于里程计定位的基础上,将不同视角的视觉图像种提取的特征进行匹配,根据极线几何计算摄像头旋转的角度,得到摄像头与里程计的角度冗余信息,采用扩展卡尔曼滤波(EKF)对信息进行融合,从而提高SLAM的鲁棒性。
1.3.1移动机器人模型
在二维环境中,移动机器人的位姿使用x,y,θ表示,其中x,y表示移动机器人相对世界坐标位置,θ表示机器人的朝向。
在位姿跟踪问题中,移动机器人的初始位置是已知的。
地图的创建过程是指移动机器人在自身位姿已知情况下的环境地图创建过程。
在SLAM中,机器人利用自身携带的传感器识别未知环境中的特征标志,然后根据机器人与特征标志之间的相对位置和里程计的读数估计机器人和特征标志的世界坐标。
这在线的定位与地图创建需要保持机器人与特征标志之间的详细信息。
在室内特定环境下,基于环境特征SLAM方法的基本思想是将移动机器人的位姿和环境特征坐标表达在1个状态向量中,在机器人的行走过程中通过对环境特征的观测做最准确的估计。
假设移动机器人在世界坐标系(用x,y表示)中为1个点,机器人的起始位置为世界坐标系原点,前进的方向(机器人的朝向θ)为机器人坐标系中的横坐标,即x’轴,逆时针旋转90度为纵坐标y’轴,如图4所示。
图4移动机器人移动过程
因此,世界坐标系中的方程为:
其中,和表示k时刻机器人在世界坐标系中的位置;表示k时刻机器人的朝向;Δ是k时刻移动机器人的位移;
表示k时刻机器人的偏航角。
由于目标是静态物体,所以在世界坐标系中的位置可以表示为
和
(i=1,---,n)是第i个目标在世界坐标系中的位置。
机器人获得的目标位置(
)是指第i个目标在机器人坐标系中的位置,因此还需将其转换成世界坐标,可表示为:
1.3.2扩展卡尔曼滤波(EKF)
卡尔曼滤波器假设系统是线性系统,但实际的机器人运动模型与观测模型是非线性的。
因此,通常采用扩展卡尔曼滤波器,基于EKF的建图与定位可以归纳为1个循环迭代的估计-校正过程,EKF算法在处理不确定信息方面有独到之处,因此EKF成为应用最广泛的SLAM方法。
根据以上的公式和假设,可以设计卡尔曼滤波器公式为:
其中,
和
为互不相关且均值为零的正态白噪声序列,方差分别为
和
。
而k时刻的状态向量和量测向量可表示为如下形式:
量测值
是从状态预测向量中计算得到的目标位置,它是指目标点在机器人坐标系中的具体位置,可以表示为:
所以,系统状态方程和量测方程为:
其中,
1.3.3更新方程
采用EKF实现系统状态的估计与更新,当机器人在运动过程中发现新的特征时,需要根据新特征的观测矢量z(k+1)和机器人的当前状态计算新特征标志的初始状态,并更新状态矢量和协方差矩阵P。
其中,
在SLAM中,系统的状态包括机器人和环境特征在机器人坐标系中的位置的估计,而协方差矩阵P表示估计的误差。
扩展卡尔曼滤波方法对信息的处理一般分为预测和更新,并且此方法对信息的估计是无偏估计。
卡尔曼滤波预测方程为:
更新方程为:
其中,Q是状态噪声协方差,R是测量噪声协方差,P是误差协方差,K是增益矩阵。
预测方程用来预测当前状态,误差协方差矩阵为下一时刻获得先验估计。
新方程将先验估计和测量值结合,得到一个较精确的后验估计。
1.3.4SIFT算法
LoweDG在2004年总结了现有的基于不变量技术的特征检测方法,并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不便性的图像局部特征描述算子—SIFT算子,即尺度不变特征变换。
SIFT算法首先在尺度空间进行特征检测,并确定关键点的位置和关键点所处的尺度,然后使用关键点领域梯度的主方向作为该点的方向特征,以实现算子对尺度和方向的无关性.梯度和方向的计算方程为:
上式为(x,y)处梯度的模值和方向公式,其中L所用的尺度为每个关键点各自所在的尺度。
在实际计算时,可在以关键点为中心的邻域窗口内采样,并用直方图统计邻域像素的梯度方向。
直方图的峰值代表了该关键点处邻域梯度的主方向,即作为该关键点的方向。
三、移动机器人双目视觉系统
3.1双目系统简介
双目视觉测距法是仿照人类利用双目感知距离的一种测距方法。
人的双眼从稍有不同的两个角度去观察客观三维世界的景物,由于几何光学的投影,离观察者不同距离的物点在左、右两眼现网膜上的像不是在相同的位置上,这种在两眼视网膜上的位置差就称之为双眼视差,它反映了客观景物的深度(或距离),如图5所示。
首先运用完全相同的两个或多个摄像机对同一景物从不同位置成像获得立体像对,通过各种算法匹配出相应像点,从而计算出视差,然后采用基于三角测量的方法恢复距离。
立体视觉测距的难点是如何选择合理的匹配特征和匹配准则,以保证匹配的准确性。
图5双目立体视觉示意图
设两个图像平面位于一个平面上,两个摄像机的坐标轴相互平行,且其x轴重合;摄像机之间在x轴方向上的间距为基线距离2a,焦距均为f。
在这个模型中,场景中同一个特征点在两个摄像机图像平面上的成像位置是不同的。
我们将场景中同一点在两个不同图像中的投影点称为共轭对,其中的一个投影点是另一个投影(correspondence)。
求共轭对,就是求解对应性问题。
两幅图像重叠时的共轭对点的位置之差(共轭对点之间的距蓠)称为视差(disparity),通过两个摄像机中心并且通过场景特征点的平面称为外极(epipolar)平面,外极平面与图像平面的交线为外极线。
假设坐标系原点与左透镜中心重合,场景点P(X,Y,Z)在左、右图像平面中的投影点分别为、,比较Δ和相似,Δ和Δ相似可得
因此,各种场景点的深度恢复可以通过计算视差来实现。
注意:
由于数字图像的离散特性,视差值是一个整数。
在实际中,可以使用一些特殊算法使视差计算精度达到子像素级。
因此,对于一组给定的摄像机参数,提高场景点深度计算精度的有效途径是增长基线距离2a,即增大场景点对应的视差。
然而这种大角度立体方法也带来了一些问题,主要的问题有:
(1)随着基线距离的增加,两个摄像机的共同的可视范围减小;
(2)场景点对应的视差值增大,则搜索对应点的范围增大,出现多义性的机会就增大;
(3)由于透视投影引起的变形导致两个摄像机获取的两幅图像不完全相同,这就给确定共轭对带来了困难。
在图5中,图像中的每个特征点都位于第二幅图像中的同一行。
实际上,两条外极线不一定完
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 移动 机器人 视觉 图像 处理 分析 方法 研究