多摄像头机场监控图像拼接系统设计大学论文.docx
- 文档编号:17156103
- 上传时间:2023-07-22
- 格式:DOCX
- 页数:36
- 大小:2.46MB
多摄像头机场监控图像拼接系统设计大学论文.docx
《多摄像头机场监控图像拼接系统设计大学论文.docx》由会员分享,可在线阅读,更多相关《多摄像头机场监控图像拼接系统设计大学论文.docx(36页珍藏版)》请在冰点文库上搜索。
多摄像头机场监控图像拼接系统设计大学论文
毕业设计说明书
多摄像头机场监控图像拼接系统设计
学生姓名:
学号:
学院:
专业:
指导教师:
2016年06月
多摄像头机场监控图像拼接系统设计
摘要
图像拼接技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。
图像拼接的过程由图像获取、图像配准、图像合成三个步骤组成。
其中图像配准是整个图像拼接的基础。
本文研究了基于特征图像配准算法。
利用基于特征Harris角点检测算法提取出初始特征点对,实现特征点对的精准匹配。
最后用加权平均对实现图像融合。
实验证明该算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。
同时该算法准确率较高,具有较高的使用价值。
关键字:
图像拼接,图像配准,特征点,图像合成
Multiplecamerasmonitoringimagemosaicingsystemdesignattheairport
Abstract
Imagesplicingtechnologyisasetofoverlapbetweenimagesequencespacematchingalignment,aftersamplingthesynthesisformingawideperspectiveofcontainingtheimagesequenceinformationnewscene,complete,high-definitionimagetechnology.Imagestitchingprocessconsistsofimageacquisition,imageregistration,imagesynthesisofthreesteps.Theimageregistrationisthefoundationofthewholeimagemosaicing.Inthispaper,basedonthecharacteristicsofimageregistrationalgorithmisstudied.
BasedonthecharacteristicsoftheHarriscornerdetectionalgorithmtoextracttheinitialfeaturepointson,realizethefeaturepointsontheprecisionofmatching.Imagefusionisrealizedbyusingtheweightedaverage.Experimentsprovethatthealgorithmhasstrongadaptability,intherepetitivetexture,rotationAngleisbiggerandmoredifficulttoautomaticallymatchoccasionscanstillachieveaccurateimageregistration.Atthesametimethealgorithmaccuracyishigher,hasthehighusevalue.
Keywords:
Imagematching,imageregistration,featurepoints,theimagesynthesis
1绪论
1.1图像拼接技术的应用背景及意义
随着科技的进步,人们越来越倾向于使用视频监控代替人工监视,无论是公共场所的重点区域还是私人隐秘场所,都遍布各种视频监控系统[1]。
然而由于监控摄像头多数是固定的,所获取的画面视野比较有限,如果只用一个摄像头常常会在一个区域内存在盲区,留下安全隐患[2]。
但是现有的摄像头还是无法满足人们全景捕捉的需求,摄像头较窄的视角给视频监控的发展带来了不小的阻碍,主要体现在以下两方面:
(1)监控遗漏,由于摄像头视角较小,一般采用多摄像头同时监控,可是多摄像头得到的视频资源相对独立,视频信息分散,一般会造成监控死角,而且监控起来较为困难,最终造成监控遗漏。
(2)冗余资源,在多摄像头的分散监控的情况下,为了减少监控死角,一般会增加摄像头的数量,这样必定会造成视频资源的冗余[3]。
图像拼接的发展对于视频监控是一个福音,我们可以通过多个摄像头拼接形成具有广角视野的监控系统。
图像拼接,即Image-stitching或者Image-mosaic,是指把含有重叠内容的一系列图像进行配准融合,形成具有更宽广视域、更高分辨率的全景图像,给人以更加完整、直观的场景信息[4]。
图像融合是信息融合系统中以图像匹准为目的的技术,能对不同传感器获得的图像进行有效的综合和集成,为不同波段的探测跟踪对象的特征提供精确的信息[5]。
图像配准是图像融合技术的基本环节,只有经过配准后的图像才能进行有效的融合。
对于图像配准技术,主要包括以下四个内容:
特征空间、搜索空间、搜索策略、相似度测量[6]。
特征空间指的是从图像中提取出来的用来匹配的信息;搜索空间则是指用来校准图像的图像变换集;搜索策略决定如何在这个空间中选择下一个变换,如何测试并搜索出最优的变换;相似度测量则决定了每一个配准测试中的相关特性[7]。
图像的配准和融合方法较多,主要分为三类:
基于像素的配准方法,基于特征的配准方法和基于模型的配准方法[8]。
基于像素的配准方法多用于图像的初步配准,计算量小;基于特征的配准方法定位准确,计算量较大且要首先进行特征提取;基于模型的配准方法多用于图像的精细配准,但只适合图像中的对象之间的局部的非线性的非刚性的变形的校正。
对于像素相关性大的图像,可利用图像间相同位置的特征点进行配准;对于像素相似性小的图像,需要先对图像进行特征提取,通过提取的特征点进行配准[9]。
图像拼接技术的前期发展中,主要是针对静态图像的,静态图像的拼接技术得到了不断发展[10]。
但是在现实生活中,基于动态视频的拼接技术的应用场景很多,需要保证在一定精度范围内,能够快速有效地进行实施画面的拼接[11]。
这些年来,动态视频拼接技术也得到了很大的进步,现今己有许多研究成果,但是这些研究成果大部分是在假定场景静态的基础上。
而实际生活中,机场环境并不是静态且一成不变的,机场环境有很多外力因素的干扰,如摄像机的抖动,雨雪天气的干扰甚至随风摇曳的树枝也是有可能对监控造成很大的干扰[12]。
视频拼接就是将获取的具有重叠内容的视频序列按照一定的规则拼接起来,形成具有更大视野范围的视频图像,当拥有足够多的摄像头时,就可以达到视频全景的效果,显示全范围全景的视频信息[13]。
视频拼接一般是建立在图像融合的基础上,但是视频拼接的对象是视频流,相对与静态图像而言,其具有时间和空间的上下文,难度更大,一般有两种策略[14]:
一是对视频每一帧图像进行融合;二是抽取一幅图像,获取融合参数,进行作为以后每一帧图像融合的参数。
第一种鲁棒性更高,能够适应各种环境,但是图像分析时间较长,会造成视频严重失帧。
1.2图像拼接技术的研究现状
图像拼接的关键技术是图像配准,因此图像拼接技术的发展状况从来都是与图像配准技术的发展状况息息相关[15]。
图像配准技术自从开始研究以来衍生出来很多的算法,大致可以归纳为三类:
基于区域的配准方法;基于变换域的配准算法;基于特征点的配准算法。
基于区域的配准方法又名基于基于图像灰度的配准方法,其常用配准算法主要有块匹配法、比值匹配法、和网格匹配法[16]。
这类方法一般是直接利用图像的灰度信息来建立图像间的相似性,根据相似性度量值(最大值或者最小值)通过某种搜索算法寻找两幅图像间的对应区域,从而建立两幅图像之间的变换关系。
由于这种配准算法是直接利用了图像的灰度信息,因此配准的精度较高,鲁棒性较强,但是由于考虑了整幅图像的灰度信息,计算量较大,速度非常慢[17]。
微软研究院的SzeliskiR采用特征点像素的亮度误差确定优化函数,进而估计图像间的变换关系[18]。
由于确定优化函数时利用了特征点像素的亮度误差,因此该方法对光照变化特别敏感。
基于变换域的配准算法以KuglinC.D提出相位相关法为代表,此后又有学者提出了扩展相位相关法,此类方法首先对待配准图像进行傅里叶变换,然后根据傅里叶变换的性质,在频域内求解图像间发生的平移以及旋转的角度,从而找到两幅图像间的重叠区域,实现最终的配准[19]。
在图像配准中,常常使用的基于变换域的配准技术还有小波变换。
文献采用FFT,降低了运算量,并且可以实现发生旋转、缩放、多尺度等变化的图像配准。
文献和文献提出的多尺度分析理论基于小波变换,通过确定小波变换中模的局部极大值点来确定图像的边缘特征点[20]。
尽管变换域方法处理图像配准十分有效,但是由于图像的离散性,在采样时必须采用较高的采样频率,另外,图像的有界性会引起频域中各频率分量的失真,因此,图像的离散和有界增加了变换域方法的局限性,对于待配准的图像,如果它们的灰度属性不满足线性正相关或者不满足给定的变换关系,变换域方法不再适用[21]。
基于特征点的配准算法是目前图像配准技术中最为常用的算法。
这类方法主要是利用图像中的不变特征(特征点、轮廓、统计特征、边缘等)作为图像间配准的依据。
它的优点是提取的图像特征的数量远远小于图像像素点的数量,大大降低了算法的时间复杂度和空间复杂度。
由于没有直接利用图像灰度信息,对图像的灰度变化有一定的鲁棒性。
并且匹配时利用了特征本身的固有属性,这可以使图像的配准精度有一定程度的提高[22]。
ChangS.H等人提出了联合直线段与特征点作为特征的多特征图像配准方法[23]。
这种方法建立“特征一致性”函数,并通过此函数曲线上获取的峰值来求解空间变换模型的参数值。
该方法比较适用于图像中包含较多人造目标的场合,因为对于人造目标来说,通常可以提取较多的直线段与特征点。
张迁等人提出基于SUSAN角点的配准算法[24]。
这种方法分粗级匹配和细级匹配等二级匹配,但是对于航空影像,由于只存在很小的区域重叠的(即图像的“外点”大于50%),因此难以配准,并且SUSAN角点算法对噪声十分敏感,定位的特征点精确度较低。
文献采用Harris角点,利用最小中值法去除“外点”,并实现图像拼接。
相对于随机采样法,最小中值法计算复杂度高,而且不能处理“外点”超过50%的情况,并且提取的特征点为像素级,定位精度有待提高[25]。
文献采用SIFT算子,配准精度高,并且可以完全自动拼接,但是仍然存在明显的缺点,主要为SIFT算子要在多阶、层的尺度空间的各个尺度上进行计算,计算复杂度和时间复杂度高,并且文献对重叠区出现大的运动物体的情况缺乏考虑,容易导致所谓的运动“鬼影”现象[26]。
近几年,SIFT算子成为了基于特征配准技术的新的研究热潮。
浙江大学的方贤勇提取SIFT特征,并采用近似最近邻算法进行搜索以及RANSAC算法进行匹配,减少了匹配的误差累计,有效提高了配准的稳定性[27]。
1.3本课题的研究内容
给定某个场景的一组互相有重叠的局部图像,如何生成包含着这组局部图像的新的较大的视图,称为图像拼接。
图像拼接技术的研究是在现实应用的需求下逐渐发展起来的,现已称为计算机视觉和计算机图形学的研究焦点。
本文以飞机场场景为例,采集多个摄像头下的飞机场图像,由于机场场地大,需要的图片取自不同的摄像头,所以必须进行拼接,所以本文研究如何将多幅图像拼接成一幅图像,最终形成一幅大的完整的飞机场场景图像。
本设计自行构建系统,利用一系列图像预处理算法和图像拼接算法实现飞机场场景多摄像头图像的拼接。
1.4论文内容安排
本篇文论主要分为四个章节,论文的章节排版已经列了出来:
第一部分主要说明了图像拼接技术的应用背景和研究现状,及基于本课题的技术需要现存的问题。
第二部分整体介绍了图像拼接流程。
第三部分详细的介绍了图形预处理方法及方案选取。
第四部分详细的介绍了图像配准的处理方法及方案选择。
第五部分详细的介绍了图像融合的处理方法和方案选择。
第六部分为程序设计与实现。
介绍了程序设计的思路。
第七部分为结束语。
对之前做过的工作进行反思,并阐明之后需要做的工作。
2图像拼接理论
2.1图像基础知识
2.1.1数字图像概念
数字图像是由模拟图像数字化得到的、以像素为基本元素的、可以用数字计算机或数字电路存储和处理的图像。
2.1.2像素
数字图像的基本元素是像素,图像的每个像素都有固定的坐标以及灰度值。
例如,如果一幅图像的大小为
,那么我们有这样的表示:
A[M,N]=[
],其中,A[M,N]是一个二维数组,而数组的每一个值
则表示位于坐标(x,y)处的像素的灰度值或颜色值为
。
2.1.3像素的邻域
如图2.1(a)所示,图像中位于(x,y)处的像素p有4个相邻的像素,分为在其水平和垂直方向分布,四点位置分别为:
(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1),称该像素集为p的4邻域,用
表示。
而如图2.1(b)所示的坐标分别为(x+1,y+1)、(x+1,y-1)、(x-1,y+1)、(x-1,y-1)的4个像素点集,称为像素p的对角线邻域,记为
。
而如图2.1(c)所示,四邻域
和对角线邻域
包含的所有像素点合称为像素p的8-邻域,记为
。
(a)(b)(c)
图2.1像素的邻域
(a)像素p的4-邻域;(b)像素p的对角邻域;(c)像素p的8-邻域
2.2图像拼接原理
图像拼接技术就是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术。
使用普通相机获取视野的场景图像时,因为相机的分辨率一定,拍摄的场景越大,得到的图像分辨率就越低;而全景相机、广角镜头等不仅非常昂贵,而且失真也比较严重。
为了在不降低分辨率的条件下获取超宽视角甚至360°的全景图,利用计算机进行图像拼接被提出并逐步发展起来。
现在图像拼接技术已经成为计算机图像学的研究焦点,被广泛应用与空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟显示技术、超高分辨率重构等领域。
图像拼接过程由拼接预处理、图像配准、图像融合三步骤组成。
图像预处理是为了保证图像配准的精度对原始图像做一些折叠或坐标变换,例如直方图操作或图像平滑滤波、建立图像的匹配模板、傅里叶变换或小波变换以及提取图像特征集合等。
图像配准的核心是寻找一个变换。
即找到待拼接图像中模板或特征点在参考图像中的位置,然后根据模板或图像特征之间的对应关系从而建立两幅图像的数学模型,使图像间重叠部分对准,将待拼接图像转换到参考图像的坐标系中构成完整图像。
图像融合是最后一步。
当准确计算出图像间转换参数后,需要根据参数把多张图像合成一张全景图。
此时图像配准的结果存在误差,不可能每一点都精确匹配。
图像融合的策略是要尽可能减少遗留的变形和图像之间的差异。
主要的方式有光度调整混合、确定重叠区域和消除拼缝等等。
2.3图像拼接的应用
图像拼接是指将多幅来自同一场景的具有一定重叠区域的小尺寸图像合成为一幅大尺寸,具有大视角的图像。
图像拼接技术可以突破镜头拍摄角度的局限性,被广泛应用于遥感图像处理、医学图像分析、绘图学、计算机视觉、视频监控、虚拟现实和超分辨率重构等领域,是当前图像处理的一个重要分支。
2.4本章小结
本章主要对图像拼接技术作了整体的概述,介绍了图像的基础内容和图像拼接的研究背景和应用前景,以及图像拼接技术的大致过程、图像拼接算法的分类和其技术难点。
3图像预处理
图像预处理的主要目的是消除图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性和最大限度地简化数据,从而改进特征抽取、图像分割、匹配和识别的可靠性。
3.1图像增强
图像增强是将原来不清晰的图像变得清晰或强调某些感兴趣的特征,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果的图像处理方法。
图像增强常用方法有对比度拉升、Gamma校正、直方图均衡化,具体内容如下:
(1)对比度拉升
对比度拉升是对直方图进行调整,从而扩大前景和背景灰度的差别,以达到增强对比度的目的。
本文采用了线性函数对图像的灰度值进行变换
(2)Gamma校正
Gamma源于CRT的相应曲线,即其亮度与输入电压的非线性关系。
采用了非线性函数(指数函数)对图像的灰度值进行变换,这两种方式的实质是对感兴趣的图像区域进行展宽,对不感兴趣的背景区域进行压缩,从而达到图像增强的效果
(3)直方图均衡化
直方图的均衡化就是用一定的算法使直方图大致平和。
其实图像的像素灰度变化是随机的,直方图的图形高低不齐,采用直方图均衡化能很好的解决这个问题。
直方图的将原始图像的直方图通过积分概率密度函数转化为概率密度为1(理想情况)的图像,从而达到提高对比度的作用。
直方图均衡化的实质也是一种特定区域的展宽,但是会导致整个图像向亮的区域变换。
当原始图像给定时,对应的直方图均衡化的效果也相应的确定了。
如图3.1就是采用直方图均衡化效果图,以及处理前后的直方图对比示意图:
(1)原图像
(2)原图像的直方图
(3)均衡化的图像(4)均衡化图像的直方图
图3.1原始图像及直方图均衡化后效果图
3.2图像平滑
3.2.1图像噪声
图像噪声可以理解为妨碍人的视觉感知,或妨碍系统传感器对所接受图像源信息进行理解或分析的各种因素,也可以理解成真实信号与理想信号之间存在的偏差。
一般来说,噪声是不可预测的随机信号,通常采用概率统计的方法对其进行分析。
噪声对图像处理十分重要,它影响图像处理的各个环节,特别在图像的输入、采集中的噪声抑制是十分关键的问题。
若输入伴有较大的噪声,必然影响图像拼接的全过程及输出的结果。
根据噪声的来源,大致可以分为外部噪声和内部噪声;从统计数学的观点来定义噪声,可以分为平稳噪声和非平稳噪声。
各种类型的噪声反映在图像画面上,大致可以分为两种类型。
一是噪声的幅值基本相同,但是噪声出现的位置是随机的,一般称这类噪声为椒盐噪声。
另一种是每一点都存在噪声,但噪声的幅值是随机分布的,从噪声幅值大小的分布统计来看,其密度函数有高斯型、瑞利型,分别成为高斯噪声和瑞利噪声,又如频谱均匀分布的噪声称为白噪声等。
一般地,对噪声的描述采用统计意义上的均值与方差。
设图像信号的二维灰度分布为f(x,y),则噪声可以看作是对亮度的干扰,以n(x,y)来表示。
噪声的均值表明了图像中噪声的总体强度,计算公式如下:
(3-1)
噪声的方差表明了图像中噪声分布的强弱差异,计算公式如下:
(3-2)
其中,M、N分别为图像的行数和列数。
噪声的模型按照对信号的影响可分为加性噪声模型和乘性噪声模型两大类。
设f(x,Y)为信号,n(x,y)为噪声,在噪声n(x,y)的影响下的输出为g(x,y),则有加性噪声模型为:
(3-3)
乘性噪声模型为:
(3-4)
乘性噪声作用下的输出是两部分的叠加,第二个噪声项信号受了f(x,y)的影响,f(x,y)越大,则第二项越大,即噪声项受信号的调制。
乘性噪声模型和它的分析计算都比较复杂,通常信号变化很小的时,第二项近似不变,此时可以用加性噪声模型来处理。
图像平滑主要是用来突出图像的宽大区域、低频成分、主干部分或者抑制图像和干扰高频成分,使图像亮度平缓渐变,减小突变梯度,改善图像质量的一种图像处理方法。
图像的平滑出路一般用于模糊处理和减小噪声,常常作为更高级应用的预处理1。
常用的平滑处理操作有均值滤波、中值滤波和高斯滤波。
下面简单的介绍一下这三种滤波算法。
3.2.2均值滤波
所谓均值滤波实际上就是用均值替代原图像中的各个像素值。
均值滤波的方法是,对将处理的当前像素,选择一个模板,该模板为其邻近的若干像素组成,用模板中像素的均值来替代原像素的值。
如图所示,序号为0是当前像素,序号为1至8是邻近像素。
求模板中所有像素的均值,再把该均值赋予当前像素点(x,y),作为处理后图像在该点上的灰度g(x,y),即
(3-5)
其中,s为模板,M为该模扳中包含像素的总个数。
以图3.2
(1)为例,进行处理后,下图3.2
(2)是效果示意图:
(1)原始图像
(2)均值滤波图
图3.2原始图像及均值滤波图
3.2.3高斯滤波
高斯平滑与图像的简单平滑不同的是,它在对邻域内像素灰度进行平均时,给予了不同位置像素不同的权值。
图显示的是3×3邻域的高斯模板,模板上越是靠近邻域中心的位置,其权值就越高。
如此安排权值的意义在于用此模板进行图像平滑时,在对图像细节进行模糊的同时,可以更多地保留图像总体的灰度分布特征。
相比图像的简单平滑,高斯平滑对高对比度图像的平滑效率较低,在离散型杂点的消除方面,高斯平滑的效果并不理想。
然而如果需要在平滑过程中保留源图像的总体特征,高斯平滑就具有很大的优势。
图对比了图像的简单平滑和高斯平滑的处理差异,图中a表示一个5×5邻域内的像素灰度,从图中可以看出此邻域内有两处灰度较高的亮点,b为对a进行3×3邻域简单平滑的结果,从b中可以看出,源图像中的两处亮点被连接在一起,失去了源图像的特征,c为对a进行3×3邻域高斯平滑的结果,可以发现c中依然保留着源图像的特征。
以图3.2
(1)为例,进行处理后得到如图3.3的效果图:
图3.3高斯滤波图
3.2.4中值滤波
虽然,均值滤波器对噪声有抑制作用,并且算法简单,但是导致图像变得模糊是采用该方法无法避免的。
经过分析画面中噪声出现时所表现的形态可知,噪声点上的像素通常比周围非噪声点的像素要亮或暗。
因此,可以设想,如果在噪声点像素周围寻找一个合理的值对它进行替代,在一定程度上应该可以获得较理想的滤波结果。
基于上述考虑,中值滤波就是一种有效的方法。
中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替,让周围的像素值接近的真实值,从而消除孤立的噪声点。
中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。
它的核心算法是将模板中的数据进行排序,这样,如果一个亮点(暗点)的噪声,就会在排序过程中被排在数据序列的最右侧或者最左侧,因此,最终选择的数据序列中见位置上的值一般不是噪声点值,由此便可以达到抑制噪声的目的。
取某种结构的二维滑动模板,将模板内像素按照像素值的大小进行排序,生成单调上升(或下降)的二维数据序列。
二维德中值滤波输出为
(3-6)
其中,f(x,y),g(x,y)分别为原图像和处理后的图像,W为二维模板,k,l为模板的长宽,Med为取中间值操作,模板通常为3×3、5×5区域,也可以有不同形状,如线状、圆形、十字形、圆环形。
同样以图3.2
(1)为例,3.4是采用中值滤波方法进行处理后的效果图:
图3.4中值滤波效果图
本文采用的是中值滤波方法。
3.3本章小结
本章主要介绍了图像增强和噪声抑制两种图像预处理,重点介绍了图像平滑的三种具体方法:
均值滤波,高斯滤波,中值滤波。
4图像配准
图像配准就是将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程,它已经被广泛地应用于遥感数据分析、计算机视觉、图像处理等领域。
首先对两幅图像进行特征提取得到特征点;通过进行相似性度量找到匹配的特征点对;然后通过匹配的特征点对得到图像空间坐标变换参数:
最后由坐标变换参数进行图像配准。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 摄像头 机场 监控 图像 拼接 系统 设计 大学 论文