1、精品微飞行器视觉下自主着陆跑道识别技术研究毕业论文设计摘 要随着应用的需要和航空技术的发展，近年来在世界范围内掀起了微飞行器的研究热潮。基于视觉的微飞行器自主着陆得到了广泛的研究。本文主要研究了微飞行器着陆过程中，利用机载照相设备获取微飞行器着陆姿态、识别跑道的技术。 本文以微型无人直升机飞行过程中拍摄到的着陆场景图像为研究对象，选择着陆平台为图像处理中特征提取的目标，研究利用机器视觉的理论，通过数字图像处理的方法以及代数与几何的知识，实时提取着陆过程中的飞行参数，为微飞行器自主着陆提供导航信息。首先，对拍摄到的图片运用MATLAB进行图像处理，消除噪声并提取出跑道特征；其次，对着陆平台进行直
2、线检测，深入分析了特征直线和图像边界线与微飞行器姿态角之间的关系，确定了从着陆平台直线参数中求解微飞行器偏航角和俯仰角的方法，因微飞行器降落过程中滚转角很小，是一个小角度量，在降落过程中可以不予考虑。微飞行器的姿态角是它稳定飞行和安全着陆的重要导航参数。理论分析和实验结果表明，基于视觉的微飞行器自主着陆导航是可行的，具有一定的实时性和较高的计算精度，可以对微飞行器实现自主着陆。关键词：微飞行器；图像处理；跑道识别；飞行参数ABSTRACTWith the demands of applicatoin and development of aeronautic technology, more
3、and more attentions are paid to the research on Micro Air Vehicle(MAV) all over the world in recent years. A lot of research on computer vision-based for MAV autonomous landing has been done. In this paper ,we do some research on how to segment the runway area out of the image and obtain the attitud
4、e of the MAV with the vision technology.In this article, we process the image sequence of the runway which is got from an onboard camera, estimate the attitude and position of the aircraft. This article select the landing platform to target feature extraction for image processing, the theory of the
5、use of machine vision, digital image processing methods, and knowledge of algebra and geometry, real-time to extract the parameters of the flight in the landing process, to provide navigation information for automomous landing of the MAV. In order to obtain the attitude information of the MAV, we re
6、search the relations betwwen the characterristics of a straight line and the image boundary line and the attitude. From the linear parameters of the landing platform, the yaw angle and pitch angle can be found.The theoretical analysis and the experiment result show that the extraction and conversion
7、 of vision-based navigation information for aircraft autonomous landing are feasible. It has a certain real-time and a high precision, so very suitable for a real-time navigation for MAV autonomous landing.Key words: MAV; image processing; runway recognition; flying parameter第1章 绪论 11.1 微飞行器应用背景 11.
8、2 国内外研究现状 11.3本文的研究内容 4第2章 方案设计的论证 62.1 微飞行器的选择 62.2 已有视觉导航技术的概述 62.3 直升机非线性数学模型的组成 92.3 本文的设计方案 112.4 本章小结 14第3章 数字图像预处理 153.1 图像的灰度化处理 153.2 图像分割 163.2.1 图像去噪处理 173.2.2 图像分割的具体实施 193.3 直线提取 223.3.1 边缘检测 223.3.2 Hough变换 253.4 本章小结 29第4章 姿态角估计 304.1 坐标系设定 304.1.1 地面坐标系与机体坐标系 304.1.2 摄像测量相关的坐标系 324.1
9、.3 坐标系变换关系 344.2 偏航角的估计 364.3 俯仰角的估计 384.4 仿真结果分析 414.5 本章小结 45总结与展望 46参考文献 48致 谢 50第1章 绪论1.1 微飞行器应用背景微型飞行器被认为是未来战场上的重要侦察和攻击武器，能够以可接受的成本执行某一有价值的任务。这种飞行器能够传输实时图像或执行其它功能，有足够小的尺寸、足够的巡航范围和飞行时间，可深入复杂或条件恶劣的地区完成各种高风险的任务。目前，微飞行器的应用范围已扩大至军事、民用、科研三大领域，得到越来越多的研究。在军事上，用于军事侦察，可装备到士兵班，进行敌情侦察及监视，还可用于战争危险估计、目标搜索、通信
10、中继，监测化学、核或生物武器，侦察建筑物内部情况，适用于城市、丛林等多种战争环境；在民用上，可用于城市环境监测，自然灾害的监视，用来搜寻灾难幸存者、有毒气体或化学物质源，消灭农作物害虫等；在科研上，可用于对核生化污染区的采样与监控，对鸟类和昆虫的研究等1。与传统飞行器相比，微飞行器具有如下优点：第一，成本低，效费比好，使用维护费用低；第二，无人员伤亡的风险，可深入各种复杂或条件恶劣的环境完成高风险的任务；第三，生存力强，有较强的隐蔽性和突防能力，机动性好。因此，微飞行器的研究受到越来越多科研人员的关注。微飞行器在执行任务的过程中，着陆阶段是最为重要的阶段，为适应各种应用环境，要求微飞行器具有全
11、天候、短距自主起飞和自主精确着陆的能力。其着陆阶段对跑道的识别具有较强的研究价值2。1.2 国内外研究现状1.佛罗里达大学的研究工作从上个世纪90年代以来，美国的一些大学和科研机构展开了基于计算机视觉的飞行器自主着陆技术的研究。在系统中，无人直升机被限定在预先设计好的几何形状的着陆目标物上，所有的特征点都在一个平面上，从而使得视觉算法是快速的，而且计算量较小。美国的佛罗里达大学和美国海军在微型飞行器图像导航方面做了大量的工作，其基本思路是利用微型飞行器所拍摄的地面图像中的地平线信息提取微型飞行器的俯仰角和滚转角3。其方法如图1.1所示。 图1.1 微型飞行器自主飞行控制示意图视觉导航技术由于其
12、视场大、非接触、速度快、信息丰富等特点，是一种MAV末端导引的有力手段。所谓视觉导引着陆技术，就是利用计算机使用各种视觉算法处理和分析机载摄像机得到的场景图像序列，由此估算出MAV着陆平台的相对位姿，引导MAV完成着陆任务。该方法可以单独使用，也可以和INS、GPS等导航手段相结合4。佛罗里达大学已经成功研制出低成本、高性能的机载视觉识别与定位系统，实现了微飞行器的垂直起降。2.加州大学伯克利分校的研究工作该校研究工作的图片资料如图1.2所示，图中(a)是实验用的无人直升机，(b)是人造着陆平台的灰度图，(c)是(b)的二值图，研究了无人直升机在着陆过程中的几个部分：图像处理、姿态估计和着陆控
13、制，并给出了实际的飞行试验结果5。 （a） (b) (c) 图1.2 加州大学伯克利分校研究工作的图片资料图像处理包括了图像的二值化、图像分割和特征点提取，图像的特征是角点，通过角点提取，可以将特征点标注出来。在状态估计中，已知平面目标中的几个点和它们之间的几何尺寸，通过对应的像点位置及它们在图像中的几何尺寸就可以得出相机坐标系和着陆平台坐标系之间的位置和姿态6。最后，该校对无人直升机的控制飞行进行了试验，结果表明该视觉导航系统可以使无人机的着陆精度达到：轴向定位精度5cm，姿态角精度5，这个结果说明视觉导航系统是实际可行的。需要指出的是在图像处理的过程中特征点的选取很重要，它关系到状态估计的
14、精度。在加州大学的研究工作中，他们选择角点这个特征是因为角点具有透视投影不变性，实际目标中的角点在透视投影中也总是表现为角点，而且具有目标的几何形状信息。因此，将着陆平台设计成这种形状，在一定程度上简化了图像处理的难度。3.北京航空航天大学的研究在国内，北京航空航天大学较早开始研究基于视觉的无人机自主着陆。设计了无人机基于视觉的半自主导引系统，利用安装在地面上的视觉识别与定位系统搜索、跟踪空中渐进着陆的无人战斗机(UCVA)，获取无人机的图像；再利用地面设备对获取的无人机图像进行图像预处理，获取无人机的特征信息，然后将特征信息、摄相机参数等视觉信息经过上行数据链上传到无人机；机载信息融合系统（
15、采用多速率Kalman滤波方法）将视觉信息和机载的惯导系统、高度表系统等给出的信息进行信息融合，得到无人机的位姿估计7。其系统结构图如图1.3所示。 图1.3 基于视觉的无人机半自主导引系统结构1.3本文的研究内容以上简要叙述了国内外几所大学的研究工作，他们的研究工作都取得了很好的研究成果，也推动了视觉导航技术的发展，本文的研究中以无人直升机为研究对象，主要是讨论无人直升机在着陆过程中，视觉技术的应用，上述的研究成果给了本课题的研究很大的启迪和帮助。本文的研究内容是研究通过图像处理得到无人直升机姿态角的方案，主要是算法的设计，理论上进行仿真研究。本文选用的着陆场景是H形的人造着陆平台，可以简化
16、图像处理的过程。由于H形目标区域矩具有透视投影不变的特征，在具体的实施过程中，首先对大量图像上的H形目标区域矩进行统计，得到一个统计量作为该目标区域矩的正确值，实际飞行过程中，将计算的矩值与正确值比较，如果在误差范围内，则认为目标被识别，如果在误差范围外，则目标错误。当目标被正确识别后，将着陆平台上H的横向中心线作为特征值，可由H在图像中的位置来进行状态估计，得到无人直升机的定位参数，最后送入控制系统。下面的内容就是探讨怎样通过特征提取，获得无人直升机的姿态角。论文的整体分为四个章节：第一章是绪论，介绍了微飞行器的应用背景以及国内外发展现状，概述了本文的研究内容；第二章是方案设计与选择的论证，
17、结合国内外的各种研究方案，确定本文的设计方案；第三章是跑道识别，设计了跑道识别的步骤，并对实验结果进行了对比和分析；第四章是着陆中飞行参数的获取，通过图像处理获得着陆平台的特征值，然后利用摄像机线性模型和光学测量技术，以及地面坐标系、摄像机坐标系、飞机坐标系之间的相互关系，获得着陆时的偏航角、俯仰角、滚转角、距离着陆平台的高度等飞行参数。最后是对课题工作的总结和对未来工作的展望。 第2章 方案设计的论证 由于微飞行器体积小，现有大型飞行器中的线加速度、角加速度传感器不能简单地缩小尺寸就用到微飞行器上，而MEMS技术还不够成熟，这就决定了微飞行器上不可能有过多的传感器。加速度计或者陀螺仪本身都有
18、漂移，误差会随时间的推移而发散，因此传统的惯性导航技术，或者无线电导航并不适用于微飞行器，而视觉导航技术只需要携带机载摄像设备，实时性强，可以满足微飞行器的要求，下面将对本文的方案设计进行选择论证。2.1 微飞行器的选择常见的飞行器有按翼形可分为固定翼和旋翼两种，固定翼主要有喷气式飞机，而旋翼主要是直升机。固定翼飞机在起降的过程中，对于跑道有较高的要求，跑道要有一定的长度、宽度，跑道周围必须是一片开阔地，没有建筑物的遮挡，对跑道的要求很高。旋翼机由于可以垂直起降，降落地点为直升机降落平台，所以对跑道的要求较低。本课题在进行微飞行器起落跑道识别技术研究时，应尽量选择起落跑道设计简单的飞行器为研究
19、对象。飞行器在降落过程中机载摄像机拍摄到的图片需要传输到地面控制计算机中，由地面计算机处理图像解算出飞行姿态，并发出控制指令，控制飞行器平稳降落。从飞行器传出图片至计算机发出控制指令需要一定的时间，固定翼飞行器由于飞行速度较快，当接收到控制指令时，飞行姿态已经发生了很大的变化，控制精度会大大降低。而旋翼机飞行速度较慢，并且可以悬停，对数据处理的速度要求较低，接收到控制指令时，飞行姿态并没有发生大的变化，因此实时可控性较强，控制精度较高。综合上述起落跑道的设计和对数据处理时间的要求，本文选择无人直升机为研究对象，其起落跑道可设计为H形的着落平台。2.2 已有视觉导航技术的概述随着机器视觉技术的发
20、展，飞行器降落过程中的跑道识别技术已经日趋成熟，国内外各研究机构都已经研究出了基于视觉的不同的跑道识别方法，着陆过程中的视觉导航技术已经在无人机上的得到了应用。实际应用中，微飞行器的主要任务是侦察监视，一般都携带有机载摄像设备和图像传感器，图像中包含有大量的信息，如果能从图像中获得着陆的必要信息，对微飞行器的发展有很大的促进作用。因此，基于视觉的跑道识别技术有很大的研究价值。下面将对已有的视觉导航技术进行对比研究，以确定最终的设计方案。1.方案一：通过检测地平线得到飞行器的姿态角无人飞行器的机载摄像头为前置摄像头，飞行器在离跑道较远时，跑道在图像中完整可见，但跑道远处的横向边界太小，提取过程中
21、，容易产生误差；飞行器离跑道较近时，跑道近端的横向边界已不可见。因此将跑道的两条纵向边界作为特征量。由于跑道区域较为开阔，前置摄像头可以看到一条清晰可见的地平线。而地平线和飞行器的俯仰角、滚转角有密切的联系，由它们的关系可以解算出飞行器的俯仰角和滚转角8。佛罗里达大学的研究中，提出了一种基于模式识别中分类概念的地平线检测算法，处理的是彩色图像9。其思想为认为天空和地面是特征差别较大的两个类别，地平线是这两个类别的分界线，检测地平线的过程就是确定天空、地面两个类别分界线的过程。该算法假设地平线是一条直线，直线两侧的像素点是分属两个类别中的元素，以像素点的彩色分量R,G,B作为该点的特征量，则对天
22、、地特征的度量就是对类别中所有元素的特征量统计特征的度量。算法中对图像中每一条直线，判断他所区分的两个类别特征值的差异，找出差异最大的那条直线，并认为它是地平线。算法的关键有两点：一是像素点特征量的选取，另一个是判断类别差异的判据的选取。从佛罗里达大学的研究成果可以看出，该方法可以有效的检测出地平线，并由地平线在图像中的位置解算出飞行器的俯仰角和滚转角。2.方案二：借助跑道边缘线和着落线间的交点提取姿态角对跑道场景中的两条跑道边线和一条着陆线进行检测，这样做不需要人为设置着陆标志，而且这些线具有明显的可视性和直线性，可直接算出飞行器的姿态角10。一个直观的例子，飞机距离机场较远时，机场跑道在图
23、像上的显示就会很窄；当两条跑道线和着陆线构成的三角形不是等腰三角形时，说明飞机已经偏离了跑道中心线，或者机身有滚动。因此，利用两条跑道边线的交点和两条跑道边线与着陆线的两个交点，借助于跑道是矩形这一特征以及跑道的宽度，最终可以求得飞机的飞行姿态。具体做法为，利用地面坐标系、摄像机坐标系、飞机坐标系三者之间的相互关系和相互转换，着陆线与两条跑道边线的交点，两条跑道边线的交点这三点在图像中的坐标来计算飞机的姿态角参数。这种方法的应用很广，只需要事先知道跑道的宽度并且检测出跑道边线和着陆线，限制条件较少。3.方案三：传统的P3P或P4P方法计算飞机飞行参数的最初方法是通过地面上的多个特征点与它们在图
24、像平面上的像点建立对应关系，通过解方程组的方法求得飞机的位置参数11。所谓P3P问题，就是已知地面三个点之间的距离以及它们在像平面中的对应像点坐标，通过某种算法计算出这三个点的具体位置12。该方法应用到导航中需要先确定三个点作为P3P中需要的点而且需要求解非线性方程组，计算量较大，精度不是很高。P4P问题与P3P类似，应用到飞机导航中时，由于飞机跑道通常都是矩形，并且该矩形的长度和宽度都是已知的，因此通过该矩形的四个顶点以及其在像平面中的对应像点可以用P4P的方法求解出各点的具体位置，从而可以确定出飞机的飞行姿态13。由于这四个点在特殊的位置，可以用一些技巧很简单地计算出满足条件的唯一解。需要
25、注意的是，识别跑道上四个顶点的像点有一定的困难，可能会造成较大的误差。4.方案四：地平线拟合的视觉导航实际的视觉导航中，前置摄像头拍摄到的图像中地平线很大的可能上并非一条直线，实际中的地平线会受到树木和建筑物等物体的干扰，Hough变换很难发挥作用，这就使地平线的检测变为拟合过程14。首先，从航拍视频序列中提取单帧图像，并作采样去噪等相应预处理；其次，初始化禁忌搜索算法的初始解等参数，结合适配值函数，拟合图像中的地平线；然后，用禁忌搜索算法的特赦准则和收敛准则评判拟合的准确性，直到适配值函数值满足收敛准则为止，得出最优解。此算法最关键的两个步骤是图像预处理和最优解搜索算法，图像处理方法的好坏直
26、接决定了系统输入数据的有效性，搜索算法的优劣决定了算法的实时性和准确性。该算法可以有效地消除地面和天空的干扰，准确地检测出图像中的地平线，然后通过地平线算法得到飞机的飞行参数。上述的已有的视觉导航技术都已经逐渐成熟，各种方法都可以实现飞行器的着陆导航，但其适用对象有所区别，方法也有优劣，课题的研究中要结合已有的技术来设计选择本文的设计方案。在确定本文的设计方案前，需要先来了解直升机非线性数学模型的组成。2.3 直升机非线性数学模型的组成直升机气动力/力矩的主要贡献来自旋翼，旋翼力/力矩的计算模型是直升机建模的关键环节。旋翼力/力矩由桨叶气动力向机体轴系分解而得，桨叶气动力采用叶素分析法进行计算
27、。直升机尾桨操作系统简单，仅有尾桨总距，没有尾桨周期变距，挥舞效应小，简化模型的计算中仅考虑尾桨拉力，只分析尾桨总距的影响15。直升机刚性机体的六自由度动力学方程与固定翼飞机相同。机体的六自由度动力学方程普遍建立在机体轴系，机体轴系中质心的动力学方程是： （2.1）机体绕质心转动的动力学方程是：（2.2）作用在直升机质心处的合力/合力矩表达式为： （2.3） （2.4）式中，下标分别表示旋翼()、尾桨()、机身()、垂尾()和水平安定面()。姿态角与机体角速度之间的运动学关系为： （2.5）式中，是全机质量，是机体三个轴方向的惯量矩，是惯量积，是重力加速度，并假设它们都为常数。，是质心速度在坐
28、标轴上的速度分量，是机体的角速度在坐标轴上的分量，分别为滚转角速度、俯仰角速度、和偏航角速度。，分别是机体坐标系相对地面坐标系的滚转角、俯仰角和偏航角。直升机的非线性数学模型为，式中表示直升机动力学方程的全部状态量，表示直升机的操纵量。直升机的数学模型有助于了解直升机的飞行运动，对降落过程中的飞行姿态有更加深入的了解，对本文的方案设计有很大的指导意义。2.3 本文的设计方案2.1节中已经确定了微飞行器的类型和起落跑道的设计，微飞行器选择为无人直升机模型，跑道场景设计为H形着陆平台。无人直升机在降落过程中一般为垂直起降，不像固定翼飞机那样滑翔降落，因此机载摄像设备不能像固定翼飞那样采用前置摄像头
29、。无人直升机在垂直降落的过程中，为了方便图像采集，本课题设计将机载摄像设备安装在无人直升机的正下方，摄像头向下拍摄图片，这样可以更好地识别跑道。由于摄像机安装在飞行器的下方，向下拍摄图片，所以利用地平线检测法检测姿态角并不太适合。而且上述方案一中基于模式识别中分类概念的地平线检测法和方案四中的地平线拟合算法计算量都比较大，计算时间较长。方案一中的地平线检测法，需要对图像中每一条直线，判断它所区分的两个类别特征值的差异，找出差异最大的那条直线，需要判断的直线条数很多，而且所处理的图像是彩色图像，数据处理量大。方案四用禁忌搜索算法搜寻最优解时，搜索域内适配值函数值的变化有较强的方向性，令其从一个初
30、始可行解出发，选择一系列的特定搜索方向作为试探，选择使适配值函数值增大最多的移动，从而在保证搜索质量的同时较大幅度地减少搜索空间。这样做虽然提高了算法的实时性，但是选择一系列的特征搜索方向作为试探时，仍有很大的计算量。方案二和方案四基于地平线的检测算法虽然不适用于本文的研究，但是其根据地平线在图像中的位置变化来解算飞行器姿态角的原理有很大的参考价值，本文可以根据着陆平台上的H在图像中的位置变化来分析飞行器的姿态角。方案二提出了较为新颖的飞行参数的算法，但不适合于无人直升机的垂直起降。方案三中P4P的方法比较适用于本设计中的跑道识别，可以选取H形着落平台的四个顶点作为需要的点，但实际操作中，从图
31、像上识别出四个顶点有一定的困难，而且需要求解非线性方程组，计算量较大，精度不够高，可能最终会造成很大的误差。根据上述的分析可以得知，无人直升机的机载摄像头安装在机身的正下方时，对于跑道的识别和姿态角的解算可以借鉴地平线检测算法。地平线检测算法中，由地平线在图像中的斜率和位置可以解算出飞行器的滚转角和俯仰角，而在本文的研究中，机载摄像头在飞行器的下方，可以根据着陆场景中H的横向中心线在图像中的斜率和位置解算飞行器的偏航角和俯仰角。下列图片就显示出了飞行器不同姿态角时拍摄到的图片。 图2.1 无人直升机在某一位置拍摄的基准着陆图像 (a) (b) 图2.2 无人直升机有偏航角时拍摄到的着陆图像 (
32、a) (b) 图2.3 无人直升机有俯仰角时拍摄到的着陆图像由上述的三组图像可以看出，无人直升机在不同的姿态位置时，拍摄到的图片中着陆平台上的H在图像中的位置不同。图2.2是飞行器有偏航角时拍摄到的图像，H的横向中心线在图片中的斜率和飞行器的偏航角有密切的联系，可根据H的横向中心线的斜率来解算偏航角。图2.3是飞行器有俯仰角时拍摄到的着陆场景，不同俯仰角时，着陆场景中的H在图像坐标系中纵轴的位置不同，有俯仰角时H在纵轴上位置与没有俯仰角时H在图像中的基准位置进行对比，可以解算出飞行器的俯仰角。微型无人直升机因为体积小，在飞行过程中如果遇到较大风速的干扰，易发生侧翻，滚转角不宜设置过大，相对于俯仰角和偏航角，它是一个小的角度量，在降落过程中对着陆的稳定性影响较小，作为一个小角度量处理，在本文的方案设计中，不研究着陆姿态中滚转角。微飞行器的飞行高度，采用激光测距仪进行测量，在本文的研究设计
