基于地面特征识别的室内机器人视觉导航.docx
- 文档编号:704792
- 上传时间:2023-04-29
- 格式:DOCX
- 页数:75
- 大小:2.26MB
基于地面特征识别的室内机器人视觉导航.docx
《基于地面特征识别的室内机器人视觉导航.docx》由会员分享,可在线阅读,更多相关《基于地面特征识别的室内机器人视觉导航.docx(75页珍藏版)》请在冰点文库上搜索。
word文档可复制编辑
(申请工学硕士学位论文)
基于地面特征识别的室内机器人视觉导航
培养单位:
物流工程学院学科专业:
机械电子工程
研 究 生:
杜 娟
指导教师:
李文锋 教授
2006年4月
分类号 密 级
UDC 学校代码10497
学 位 论 文
中文题目:
基于地面特征识别的室内机器人视觉导航
英文题目:
VisualNavigationbasedonFloorFeature
SegmentationforIndoorMobileRobot
研究生姓名:
杜 娟
指导教师:
姓名 李文锋 职称 教授 学位 博士
单位名称 物流工程学院 邮编 430063
申请学位级别 硕士 学科专业名称 机械电子工程
论文提交日期 2006.4 论文答辩日期2006.5
学位授予单位 武汉理工大学 学位授予日期
答辩委员会主席 评阅人
2006年5月
摘 要
视觉信号具有信号探测范围宽、获取信息丰富等优点。
随着近几年图像处理技术以及计算机处理能力的飞速发展,视觉导航成为机器人导航的主要发展方向之一。
最近二十年来,基于视觉的室内机器人导航和室外机器人导航均得到了飞速发展。
机器人导航的任务之一就是避开障碍物。
这样,机器人在行走过程中,要充分利用环境中的特征来识别航行区域和障碍物区域。
本文结合国家自然科学基金和湖北省青年杰出人才基金项目的需求,提出了基于地面特征识别的室内机器人视觉导航这一课题。
通过对图像处理的基本理论的研究和实践,特别是对彩色图像分割进行比较深入的学习和探讨,在已有研究的基础上,提出了一种通过分析机器人环境图像中的颜色信息来识别机器人的可行走区域和非可行走区域的方法,开发了一个机器人的实时障碍物检测系统,包括环境视频图像的采集、处理、压缩、存储和实时回放。
通过本课题的研究,得到如下的成果与结论:
(1)详细分析了室内环境中地面的角点、边缘、颜色等特征,并且对这些特征的提取方法进行了比较,最终选取颜色特征作为机器人视觉导航的陆标;
(2)在已有图像分割算法的基础上,对彩色图像分割算法进行了一些研究,提出了一种基于图像直方图统计学、适合于室内移动机器人识别可行走区域和障碍物区域的彩色图像分割方法;
(3)基于DirectShow技术,完成了机器人单目视觉系统的视频图像采集、视频中每一帧图像处理、视频压缩、存储和实时回放,其中视频压缩可以选用多种压缩方式。
本文在VisualC++集成开发环境中基于OpenCV和DirectShow视频采集技术编程实现了系统的功能。
试验结果说明本文系统能够实时检测机器人室内环境中的障碍物,完成了视觉导航的中的避障任务。
关键词:
室内移动机器人,视觉导航,障碍物检测,彩色图像分割
Abstract
Visionhastheadvantageofbroadsensingareaandfullinformation.Withthedevelopmentofimageprocessingtechnologyandtheabilityofcomputer,thevisualnavigationisbecomingamainwayinrobotnavigation.Theprogressmadeinthelasttwodecadeshasbeenonvision-basednavigationbothforindoorrobotsandforoutdoorrobots.Onetaskoftherobotnavigationisavoidingobstacles.Hence,robotsshouldrecognizethedrivableandtheobstacleareasastheymove.
WiththesupportofprojectofNationalScientificFundandprojectofExcellentScientistFundinHubei,theresearchonfloorsegmentationforindoormobilerobotvisualnavigationisputforward.Thispaperstudiesimageprocessingtheory,especiallythecolorimagesegmentation.Itputsforwardamethodofsegmentingthesceneintodrivableandnon-drivableareasthroughanalyzingthecolorinformationoftheinputenvironmentimagesandimplementsasystemofobstacledetection,includingthecapture,processing,compression,savingandrenderingofvideoimages.
Throughthestudyofthissubject,someresultsandconclusionsaredrawn:
(1)Thispaperanalyzesthefeaturesofcorners,bordersandcolorofindoorfloorindetail.Italsocomparesthemethodsofextractionthesefeatures.Finallythecolorfeatureischosenasthelandmarkforvisualnavigation.
(2)Thispaperdoesresearchoncolorimagesegmentationbasedonexistingimagesegmentationalgorithms.Itputsforwardacolorimagesegmentationalgorithmbasedonhistogramtosegmenttheindoorsceneintodrivableandnon-drivableareas.
(3)Thispaperimplementsareal-timesystemofvideocapture,processing,compression,savingandrenderingbasedonDirectShow.Theprocessedvideoimagescanbecompressedbymanymethods.
VisualC++environment,OpenCVandDirectShowtoolsareused.Theresultsshowthatthissystemcanimplementreal-timeobstacledetectionandavoidance.
Keywords:
indoormobilerobot,visualnavigation,obstaclesdetection,colorimagesegmentation
目录
第1章绪论 1
1.1课题研究及意义 1
1.2国内外现状及发展趋势 2
1.3本文内容与结构 5
1.4本章小结 6
第2章机器人的视觉导航系统 7
2.1机器人的导航技术 8
2.1.1智能型机器人的各种导航方式 8
2.1.2智能机器人导航中的传感器 9
2.2机器人视觉导航的发展 11
2.3机器人视觉系统 14
2.3.1机器人视觉系统组成 14
2.3.2机器人视觉系统工作过程 16
2.4本章小结 17
第3章机器人视觉导航中的图像处理技术 18
3.1图像采集和预处理 18
3.1.1图像的采集 18
3.1.2图像预处理 19
3.2图像分割 22
3.2.1边缘检测 23
3.2.2灰度阈值法 26
3.2.3颜色分割 28
3.3图像压缩存储 29
3.4本章小结 30
第4章室内地面分割的图像处理算法 31
4.1室内地面特征的选取 32
4.2图像的颜色空间的选取 37
4.2.1图像的颜色模型 37
4.2.2颜色模型变换的算法 39
4.3基于直方图的地面分割 42
4.3.1彩色图像的分割 42
4.3.2图像直方图的计算 47
4.3.3直方图的反向投影 48
4.4本章小结 51
第5章室内机器人实时障碍物检测系统 52
5.1开发工具的选择 52
5.1.1DirectShow技术 52
5.1.2OpenCV视觉函数库 54
5.2系统实现的功能 55
5.3系统运行界面 56
5.4室内机器人障碍物检测实例 58
5.5本章小结 60
第6章全文总结与展望 61
6.1工作总结 61
6.2工作展望 62
参考文献 63
致 谢 67
攻读硕士期间参加的科研项目 68
攻读硕士期间发表的论文 68
word文档可复制编辑
第1章绪论
1.1课题研究背景及意义
本论文围绕国家自然科学基金(60475031):
“传感器网络环境中移动机器
人动态特征与可重构控制框架”,和湖北省青年杰出人才基金项目(2005ABB021):
“自治体系统的分布式智能传感、控制与协作”展开研究。
其中视觉系统和移动机器人导航系统是智能移动机器人实现智能化和完全自主的关键技术,也是目前该领域的研究热点。
本文所研究的“基于地面特征识别的室内机器人视觉导航”对于室内非结构化环境中机器人检测已经存在的(即静止的)和突然出现的(即运动的)障碍物研究具有理论意义和实用价值。
智能机器人的智能特征就在于它具有与外部世界——对象、环境和人相互协调的工作机能。
在这方面,视觉、接近觉、触觉和力觉具有重大作用,机器人视觉被认为是机器人重要的感觉能力。
机器人视觉系统正如人的眼睛一样,是机器人感知局部环境的重要“器官”,同时依此感知的环境信息实现对机器人的导航。
机器人视觉信息主要指二维彩色CCD摄像机信息,在有些系统中还包括三维激光雷达采集的信息。
视觉信息能否正确、实时地处理直接关系到机器人行驶速度、路径跟踪以及对障碍物的避碰,对系统的实时性和鲁棒性具有决定性的作用。
视觉信息的处理技术是移动机器人研究中最关键的技术之一
[1]。
机器人导航的任务之一就是避开障碍物,所以机器人在行走过程中,要能够区分可航行区域和障碍物区域[2-5]。
随着计算机和图像处理技术的迅猛发展,机器人视觉导航也不断地得到发展。
目前移动机器人的导航大都采用基于视觉或有视觉参与的导航技术。
自然环境中视觉导航的研究涉及到计算机视觉中的各个主要方面,是一个有难度的综合性课题。
视觉导航的基本任务包括全局定位、道路跟踪和障碍物检测,其中每一部分都要以环境建模为基础。
因为环境为机器人导航提供了很充分的信息。
机器人的视觉导航需要有陆标为依据。
环境的某些特征可以称为机器人导航的陆标。
这些陆标分成定位陆标和导航陆标。
以前的很多工作只是基于定位陆标,因为它们为寻找正确路径提供了重要的依据。
但是比如在人行
道中行走,道路跟踪和寻找入口的情况下,导航陆标也同样非常有用。
根据陆标是否为人为设置可以将陆标分为人工陆标和自然陆标,对于智能机器人来说只有充分利用自然陆标才能做到真正意义上的自主。
地面是机器人在室内环境中导航的一个很重要的依据,地面上除了静态的和动态的物体,剩下的就是地板。
地面上没有障碍物的区域就是机器人的可行走区域。
获得地面信息的方法能分成两类:
立体视觉方法和运动方法。
其中,立体视觉方法构建了场景的3维图,但是由于有深度差别,从3维场景图中不能直接识别出地面。
在运动方法中,找到运动的物体是可行的,但是由于地面是没有运动的,所以直接找到地面也很困难。
这样就出现了一些用视觉信息如角点,颜色和纹理或平面法线来检测地面的方法。
本课题研究的机器人所处的环境是室内未知环境,将室内地面作为机器人视觉导航的陆标。
依据地面的颜色信息,将地面上没有障碍物的区域识别并分割出来,机器人在可行走区域内行走,这样就可以实现机器人的自主导航。
正是利用了环境中地面的颜色特征,利用比较简单的图像处理算法分割彩色图像,从而提高机器人导航的实时性、准确性和鲁棒性。
1.2国内外现状及发展趋势
按照机器人的功能,机器人已经发展到了第三代:
第一代是操纵型机器人,只能按照人的操作运行,因而大都需要手控或遥控。
第二代是自动型机器人,这种中级机器人所安装的计算机,可以接受人们事先输入的程序,然后便按照程序反复进行作业。
第三代是自律型机器人,亦即智能型机器人,它们有“大脑”,有“五官”,有“手和脚”。
随着计算机技术和人工智能技术的飞速发展,使机器人在功能和技术层次上有了很大的提高,移动机器人和机器人的视觉和触觉等技术就是典型的代表。
由于这些技术的发展,推动了机器人概念的延伸。
智能型机器人在没有人的干预、无需对环境做任何规定和改变的条件下,有目的地移动和完成相应任务。
这种移动机器人具有高度自规划、自组织、自适应能力,适用于在复杂的非结构化环境中工作。
在自律式移动机器人相关技术的研究中,导航技术是其研究核心,也是移动机器人实现智能化及完全自主的关键技术。
对于移动机器人而言,机器人视觉系统正如人的眼睛一样,是机器人感知局部环境的重要“感官”。
能否正确、实时地处理视觉信息直接关系到机器人行驶速度、跟踪效果以及对障碍物的避碰,对系统的实时性和鲁棒性具有决定性作用,其处理技术是移动机器人研究中最关键的技术之一。
视觉传感器方式具有信号探测范围宽、获取信息完整等优点,使得通过视觉传感器准确获取信息成为移动机器人的主要发展方向之一。
过去,由于图像采集及处理的硬件设备运行速度低,利用视觉系统感知环境引导机器人进行跟踪受到了很大限制。
近年来,随着科学技术的发展,视频设备及计算机硬件运行速度得到了很大提高,越来越多的研究者们投入到视觉导航领域中。
机器人视觉及其导航系统的研究已成为机器人研究领域最新的,也是最热门的课题之一。
世界上第一个自治机器人Shakey(Nilsson1984),就使用了基于单色图像的障碍物检测方法。
Shakey是在无质感的地面上行走,障碍物可以通过对单色输入图像进行边缘检测来检测。
但是Shakey能行走的环境需要人工专门设置。
障碍物的表面不能有反射并且表面的颜色都是均匀统一的。
光源也需要特别放置,使得墙和地面不能出现反射和阴影。
在20世纪90年代早期,Horswill研发出了机器人Polly。
Polly的导航用了与Shakey类似的方法,但是它能在真实的环境中移动。
从此,它成为许多机器人研究的基础。
Polly必须在地面为同一颜色的环境中行走,并且有一个内置的地图。
在机器人上放置的是单色照相机,分辨率为64×48。
尽管这个分辨率比较小,但是它证明了有时太多的信息实际上也不利。
因为分辨率大就需要很强的处理能力,而且会使得地面像素变暗。
当障碍物与地面的颜色相似时,Polly行走就变得困难,因为它无法用灰度值区分这些物体的边界。
Polly上还安装了碰撞及声纳传感器,因此它不是完全依赖于视觉。
Horswill继续开发了第二代机器人称为Frankie。
Frankie用一个边缘监测器来识别障碍物。
一些颜色特征也可以稍微识别出来。
但是当地面比较光滑发生反射时,它会将反射光作为障碍物。
Turk和Marra研究出了一种利用颜色信息而不是边缘信息来检测道路上障碍物的算法。
和简单的运动检测相似,这种算法将连续的彩色图像相减来检测障碍物。
如果地面表面非常粗糙时,也将遇到与边缘检测算法相似的问题。
此外,这种算法假设机器人和障碍物中有一个处于运动中。
尽管在地面表面非常粗糙
的时候,Turk和Marra研究的算法不能起作用,但是立体视觉和光流系统却能很好的发挥作用。
Lourakis和Orphanoudakis对这些系统作了很详细的总结。
他们自己也研究出了一种方法。
这种方法只将环境中的地面信息记录下来,而不记录地面上的物体。
在视觉导航方式中,目前国内外应用比较多的是采用在机器人上安装车载摄像机的基于局部视觉的导航方式[1]。
D.L.Boley[6]等研制的移动机器人利用车载摄像机和较少的传感器通过识别陆标进行导航,比直接采用卡尔曼滤波器获得了更好的实时性,并有效抑制了噪声;A.Ohya[7]等利用车载摄像机和超声波传感器研究了基于视觉导航系统中的避碰问题;C. Fermuller[8]等的研究表明:
利用车载摄像机将机器人的三维运动描述和景物的形状描述用于解决机器人的导航问题具有较高的可靠性;P.I.Corke[9]等对由车载摄像机构成的移动机器人视觉闭环系统的研究表明,这种控制方法对提高路径跟踪精度有较好效果。
采用局部视觉这种导航方式,所有的计算设备和传感器都装载在机器人车体上,图像识别、路径规划等高层决策都由车载计算机完成,所以车载计算机的工作量较大,延迟问题较为明显。
为提高导航系统的实时性和导航精度,仍需研究更加合理的组合导航方式。
Trahanias[10]利用视觉探测陆标来完成机器人导航,其中陆标不是事先定义的人工陆标,而是在学习阶段自动抽取的自然坐标。
Stanley[11]提出了基于神经网络的机器人视觉导航技术。
Reid[12]通过处理视觉信息选择机器人行走基线,
ActiveMedia公司生产出的Pioneer系列机器人,美国NASA火星探测智能移动机器人Spirit和Opportunity也都包含了视觉导航的内容。
国际上备受瞩目的机器人比赛,如Robocup[13]也采用了视觉导航,其视觉子系统的输入设备为一台悬挂在球场上方的摄像机,拍摄的图像经电缆传送到计算机主机。
此外,最新出现的网络机器人可对机器人进行遥控操纵,如文献[14]介绍了名为Xavier的机器人,在机器人上装有多种传感器,如激光探测器、声纳、车轮编码器和彩色摄像机,并装有扬声器和语言测试系统,机器人能够完成现场任务和网络任务。
从国内的研究情况来看,国内也研究了一些利用视觉进行导航的机器人。
例如国内中国科学院自动化研究所研制了自主车,上海大学研制了“导购机器人”,哈尔滨工业大学研制出了“导游机器人”以及正在开发各种服务机器人。
如今具有自主导航和自动驾驶功能的智能车辆已初见端倪,如由一汽集团和国
防科技大学合作研制的红旗CA7460自动驾驶轿车、由清华大学研制的THMR(TsingHuaMobileRobot)[15]系列,均都采用机器视觉、雷达或两者的有机组合作为传感手段。
THMR智能机器人已经研制到了第五代,如图1-
1。
THMR-Ⅴ利用视觉信息对道路进行检测实现了自动驾驶和辅助驾驶。
目前THMR-Ⅴ已经能够实现道路检测与跟踪、避障停障、临场感遥控驾驶等功能。
图1-1THMR-Ⅴ
给移动机器人提供一个能适应不同环境,且可适用于不同任务的视觉系统,是一项比较困难的工作。
现在,已经有很多基于彩色图像分割和跟踪的方法可用于给移动机器人提供视觉感知功能。
然而谁也不知道,这些方法中的哪一种最适合于某一给定的任务。
由于移动机器人的很多具体应用要求能实时的对环境作出反应,因此又一个值得关注的问题是,视觉系统中采用的分割或跟踪方法的计算量问题。
而且,外界环境条件的动态特征,如光照变化,也对机器人的视觉系统提出更多更高的要求。
因此视觉系统的实现,应该是计算量小而满足实时性要求,同时对光照和其它一些能了解的变化具有很强的鲁棒性。
分析现有机器视觉方法的不足,参考人类视觉系统的机理,认为对有些应用如视觉导航而言,不必要完成高层识别和三维重构,而只需获得对环境或其中的物体一个足够好的理解。
目前还没有一种通用的导航系统适合于各种不同的环境。
许多系统是针对某个特定的环境完成特殊的任务。
1.3本文内容与结构
本文的主要任务是采集室内环境的序列图像,利用室内环境的地面特征分
析图像序列,将环境图像分割为只有可行走区域和障碍物区域的二值图像序列,从而让机器人识别室内的障碍物完成机器人导航的避障功能,同时将图像序列压缩存储在计算机中。
本文共分为六章,具体内容包括:
第一章:
绪论,介绍本课题研究领域的背景及意义、发展过程、国内外研究现状及本论文的实现方案、研究内容和结构。
第二章:
机器人的视觉导航系统,详细介绍机器人的各种导航技术、机器人视觉导航的发展及其系统组成和系统工作过程。
第三章:
机器人视觉导航中的图像处理技术,对机器人视觉导航中用到的图像预处理、图像分割和图像压缩存储这三个方面的图像处理技术做了一定的研究和对比,为提出适合于本文的图像分析算法提供了理论基础。
第四章:
室内地面分割的图像处理算法,较为详细地介绍本课题中室内机器人识别地面及地面上障碍物的图像处理算法,包括室内环境中特征的选取和分析、彩色图像的颜色空间及其分割等。
第五章:
室内机器人实时障碍物检测系统,主要介绍本系统的实现方案,包括开发系统的工具,系统实现的功能及运行界面,并给出了本文算法得到的障碍物检测实例。
第六章:
全文总结及展望,总结全文,并指出自己所作的工作和成果,以及系统需要进一步改进的地方。
1.4本章小结
本章在阅读大量国内外参考文献的基础上,对本课题研究领域的背景及意义、发展过程及国内外研究现状做了详细论述,并介绍了本论文的研究思路、研究内容和结构。
第2章机器人的视觉导航系统
从20世纪50年代后期开始,机器人技术取得了突飞猛进的发展,其发展过程大致经历了三个阶段[16]:
(1)示教再现型机器人,这是第一代机器人。
这一代机器人没有装备任何传感器,对环境没有感知能力。
机器人的作业路径、运动参数需要操作人员手把手示教或通过编程设定,机器人重复再现示教的内容。
目前商品化、实用化的机器人大多数是此类机器人。
(2)感觉型机器人。
此种机器人配备了简单的内、外部传感器,能感知自身运行的速度、位置、姿态等物理量,并以这些信息的反馈构成闭环控制,如配备简易视觉、力觉传感器等简单的外部传感器,因而具有部分适应外部环境的能力。
(3)智能型机器人。
这一代机器人具有多种内、外部传感器组成的感觉系统,不仅可以感知内部关节的运行速度、力的大小等参数,还可通过外部传感器,如视觉传感器、触觉传感器等,对外部环境信息进行感知、提取、处理并做出适当的决策,在结构或半结构化环境中自主完成某一项任务。
目前,智能机器人尚处于研究和发展阶段。
国际机器人研究在经过了80年代的低潮之后,呈现出复苏和继续发展的形势,我国的机器人研究在国家“七五”、“八五”及“863
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 地面 特征 识别 室内 机器人 视觉 导航