1、红外图像的目标检测与识别技术研究红外图像的目标检测与识别技术研究LT摘 要低信噪比红外图像中目标的检测与识别技术是增加制导武器系统作用距离，加强系统防御能力的关键技术之一。本文研究了红外序列图像中目标的检测与识别技术，主要包括图像预处理、目标检测、目标识别。本文首先分析了红外图像的特点，简要介绍了图像增强的一些方法。然后综合考虑系统的快速性及后续处理的需要，提出一种新的红外图像预处理方法。该算法充分利用红外图像中噪声的随机性和目标运动的相关性的特点，采用灰度对比值分割出潜在目标图像区域，再对潜在目标区域进行图像增强。本文遵从最简单的DBT(先检测后跟踪)检测算法的设计思路，提出了一种基于帧间相
2、关光流法的红外目标检测方法。实现了红外图像预处理与目标检测任务在一个完整的框架下的统一，实验结果证明了提出的目标检测方法兼顾了快速性和稳健性。在分析红外目标图像的基本特征和不变性特征及典型的红外目标识别方法后，针对红外图像的特点提出了一组新的特征量，并结合局部最亮点轮廓线的不变矩对红外目标进行了分类识别。 关键词: 红外图像，目标检测，识别技术ABSTRACTThe low signal-to-noise ratio in infrared image target detection and recognition technology is one of the key technolog
3、ies that increase the distance of the role of guided weapons systems, system defense capabilities. This paper studies the infrared image sequences in target detection and recognition technologies, including image preprocessing, target detection, target recognition. This paper first analyzes the char
4、acteristics of the infrared image, a brief introduction to some methods of image enhancement. And considering the need of fast and follow-up treatment, raised a new infrared image pre-processing methods. This algorithm takes advantage of the characteristics of the random noise in the infrared image
5、and the correlation of the target motion, using the gradation ratio divided potential target image region, then the potential target area for image enhancement. Design ideas in this article comply with the most simple of the dbt (after the first detection, tracking) detection algorithm, proposed an
6、inter-frame correlation-based optical flow method of infrared target detection method. Infrared image pre-processing and target detection task in the framework of a complete unified, experimental results show that the proposed target detection method both fast and robust. In the analysis of the basi
7、c features of the infrared target image and the invariant feature and typical infrared target recognition method for infrared image characteristics of a set amount of new features, combined with local highlight of the contour of the moment invariants of infrared target the classification.Keywords: i
8、nfrared image, target detection, identification technology1 绪 论1.1 研究背景和意义 红外热成像系统不仅能透过烟、尘、雾等障碍来探测目标，实现昼夜连续被动探测，而且可以观察目标细节，进一步识别、精确定位及跟踪目标。红外成像设备具有隐蔽性好，探测能力强，作用距离远等优点。利用红外热成像实现目标检测识别是现代光电子技术领域的重要组成部分，在各个领域得到广泛应用。军事上用来侦察、跟踪和监视空中的飞机、导弹，海洋中的军舰，甚至行动着的部队。人们日常生活中用于交通管理、重要场所监视、运输工具违章行为监督等;医学上对生物组织运动分析等。噪、校
9、正、数据压缩、图像增强与补偿等，以改善图像质量，减少后续运算量。目标检测主要是根据目标和噪声模型，基于实时图像的统计均值方差等，计算出图像的分割闭值，将闽值以上的信号点作为可能目标保留，再通过序列图像的检测，进一步确定目标。目标识别是从目标特征中挑选若干有用的特征来做进一步运算，通常用统计识别法，也有采用神经网络等算法，根据目标形状特征、灰度特征及运动特征判定识别目标。跟踪处理器完成有关跟踪模式、跟踪状态估计及滤波预测等运算，输出目标与系统光轴的角偏差。伺服机构把目标误差信号变成控制信号，使光轴始终指向目标，实施对目标的跟踪。图像信号的处理是整个智能目标跟踪系统的关键，能够快速准确的从红外序列
10、图像中检测识别出目标，对后续的动作有很重大的意义。1.2 国内外研究现状及发展趋势 在实际应用中，红外目标检测识别研究主要涉及到以下几个方面:红外图像预处理、红外目标检测、对象识别等。下面就这三个主要步骤对国内外研究现状做一个简单介绍。红外图像预处理与可见光成像器件不同，红外成像器件存在光敏元响应的非均匀性，有时个别光敏元还可能是哑元。因此，红外成像系统不能简单地认为是一个线性空间不变系统。通过红外成像器件获得的红外图像是一个由真实场景图像、成像噪声和成像干扰组成的集合。因此红外成像预处理技术又可称为是一种背景抑制技术，通过图像的预处理操作，抑制复杂背景和杂波干扰，从而提高处理后图像的信噪比。
11、对于一般较为平缓的背景来说，红外目标的局部辐射强度远远大于背景杂波的辐射强度，所以，高通滤波方法是很容易想到红外图像处理方法。空域高通滤波模板有着实时性和方法简便易实现等优势，在实际应用中得到广泛认可川。随着硬件技术的发展，一些快速处理器(如DsP、FPGA等)陆续出现并被广泛应用到图像处理中印，这使得更加复杂的算法得以实现。通过对原始红外图像实施小波变换，甚至再求取小波模极大值，使图像的信噪比得到很大提高闭。自适应频率高通滤波器是一种有效的海空红外背景抑制办法，滤波器参数的可调节性使得该方法能够同时处理平缓的天空和复杂的海杂波背景。基于低通滤波的红外复杂背景估计代表了另一种有效的红外目标图像
12、预处理思路。由于待检测的目标对象往往只占很少的像素，可以由原始图像与经过低通滤波后的背景估计结果图像对应相减，即可实现背景的抑制。常见的这类方法都是在空间域里完成的，所以它们的实用性很强。如最小均方误差滤波、空间匹配滤波、中值滤波、数学形态学滤波阳，基于神经网络的滤波、基于模糊理论的滤波、以及基于小波变换的滤波等。它们各具特点:高通滤波器是最直接的模板运算，计算过程虽然简单但效果也较满意;背景估计滤波器是根据图像背景估计原理，选取不同的估计区域和权值去拟合背景特征，达到背景一致的目的;而形态学滤波是根据结构元素的定义选择可预计地决定去掉部分和保留部分的信息，当预知小目标的部分信息时，这种方法无
13、疑是最佳选择，将原始图像与开运算结果求差即构成了著名的Top-hat变换。中值滤波作为一种重要的背景平滑滤波方法，将其应用到红外目标图像的预处理领域可以做到在衰减随机噪声的同时保证目标边界清晰，许多实践都证明基于中值滤波的红外图像预处理方法具有稳定的性能。1.3 本论文的主要工作 本文围绕红外序列图像中目标的检测识别，对红外图像的预处理、目标检测、目标识别做了详细的研究，本文的具体章节安排如下:第一章:说明了研究的目的，概述了目前红外目标检测识别技术的发展现状和趋势。第二章:首先分析红外目标的成像特点，然后较为详细的介绍了几种常见的红外目标图像预处理方法，进行了仿真和分析比较;接着提出了基于灰
14、度比变化分割红外图像的预处理办法，并进行了实验分析。第三章:在分析了几种传统的目标检测算法及一些针对弱小目标的典型检测算法后，提出了一种结合帧间相关和光流法的红外目标检测算法，并用于预处理后的红外目标图像，得到很好的检测结果。第四章:着重分析了红外图像中目标的特征，包括目标图像的基本特征和不变性特征。因为图像特征量的选取是图像识别中的关键问题之一，本章针对红外图像的特点，提出了一组新的特征量，结合一种可变分类器，对目标进行识别，经过仿真确认了它的可行性。第五章:全文的总结及对未来的展望。2 红外图像的产生及特征红外图像是伴随着红外成像技术的出现而诞生的。红外热成像技术，又称为热成像技术，是一种
15、辐射信息探测技术，热成像系统能够把物体表面自然发射的红外辐射分布转变为可见图像。因为不同物体或同一物体的不同部位具有不同的红外辐射特性(比如温度和发射率)，所以系统可直观的显示其差异而将它们区分开来，转换成可见图像，从而将人类的视觉感知范围由传统的可见光谱扩展到裸眼看不到的红外辐射光谱区。支撑红外成像技术的理论与技术基础包括红外物理学、光电子学、现代信息处理技术、材料科学、精密光学机械和特种红外工艺等。红外热成像技术的特点是：（1）红外辐射能够穿过雾霭烟尘而且系统工作波段宽，系统作用距离远。（2）采取被动工作方式，不易被发现或受干扰。（3）可在昼夜或恶劣气候下工作，接近全天候。（4）适合高精度
16、跟踪瞄准。（5）不易受射击、爆炸和照明闪光等强光影响。上述这些特点使红外热成像系统特别适合军事应用，因此，各国都以巨额投资竞相开展这一领域的研究工作。近年来，随着红外热成像系统成本的降低，红外热成像系统在国民经济中也有越来越多的应用。本章将讨论红外图像的产生机理、特点及统计特性。2.1 红外图像的产生机理及特点 自然界中的一切物体，只要它的温度高于绝对零度，总是在不断地发射红外辐射。因此，只要收集并探测这些辐射能，就可以形成与景物温度分布相对应的热图像。这种热图像再现了景物各部分温度和辐射发射率差异，因而能显示出物体的特征，形成可见的热图像，即红外图像。能生成红外图像的系统就是红外成像系统，也
17、可称为红外热像仪。红外成像系统必须具有把红外光变成可见光的功能，其转换分为两步：第一步是通过光学系统，由红外探测器把红外热辐射变为电信号，该信号的大小反映出红外辐射的强弱；第二步是通过电视显像系统，经过电子学处理，将反映目标红外辐射分布的电子视频信号在监视器上显示出来，实现从电到光的转换，得到反映目标热像的可见图像。红外热成像技术是一种基于自然界中绝大多数温度高于绝对零度的物体，时时刻刻都在辐射出红外线这一原理制成的被动式红外夜视技术。其利用物体的特征信息可以负载在这种红外线上这一特性，来判别各种被检测目标的热分布和温度高低。光学系统接受被测目标的红外辐射，经光谱滤波将红外辐射能量分布图形反映
18、到焦平面上的红外探测器阵列的各光敏元上。光电红外探测器利用这一特性可将物体发热部位辐射的功率信号转换成电信号，并由探测器偏置与前置放大的输入电路将此电信号进行放大，并注入到读出电路，以便进行多路传输。CMOS多路传输器因其高密度、多功能的特点可以读出电路能够执行的面阵红外焦平面阵列的信号积分以及稠密线阵。经过传输、处理和扫描输出后，进行周D转换，然后成像装置就可以对物体表面温度的空间分布进行一一模拟，最后经过系统相关处理，形成红外热图像的视频信号。由于未经处理的红外热像信号较弱，缺乏层次感和立体感，因而在显示前需要进行相关的预处理操作，以提高对比度和增强清晰度。最后在经过相关的解码将图像显示在
19、屏幕上，就可以得到与物体表面热分布相对应的热像图，即红外热图像。在红外成像系统中，实现上述转换功能的部件主要有光学系统、红外探测器、信号处理器、信号处理电路和显示记录装置等几部分。图 2.1 为热成像系统原理方框图。红外图像反映了目标和背景不可见红外辐射的空间分布，其辐射亮度分布主要由被观测景物的温度和发射率决定，因此红外图像近似反映了景物温度差或辐射差。从图 2.1热成像系统的方框图中可以看出：目标和背景的红外辐射需经过大气传输、光学成像、光电转换和电子处理等过程，才被转换成为红外图像。要了解和分析红外图像的特点，必须从它的产生过程来着手。两物质系统之间或系统内部能量的传递称为传热。传热有三
20、种方式：传导、对流和辐射。根据上述相关的理论，结合实际热成像系统的输出结果，可以总结出红外热图像具有以下的特点：（1）由于景物热平衡、光波波长、传输距离远、大气衰减等原因，造成红外图像空间相关性强、对比度低、视觉效果模糊。（2）红外热图像表征景物的温度分布，是灰度图像，没有彩色或阴影，故对人眼而言，分辨率低、分辨潜力差。（3）热成像系统的探测能力和空间分辨率低于可见光 CCD 阵列，使得红外图像的清晰度低于可见光图像。（4）外界环境的随机干扰和热成像系统的不完善，给红外图像带来多种多样的噪声，比如热噪声、散粒噪声、光子电子涨落噪声等等。这些分布复杂的噪声使得红外图像的信噪比比普通电视图像低。（
21、5）由于红外探测器各探测单元的响应特性不一致、光机扫描系统缺陷等原因，造成红外图像的非均匀性，体现为图像的固定图案噪声、串扰、畸变等。从上面的分析中可知，红外图像一般较暗，目标图像与背景对比度低，边缘比较模糊，噪声大等。2.2 红外图像直方图 在对图像进行处理前，了解图像整体或局部的灰度分布情况是非常必要的，对图像的灰度级分布进行分析的重要手段就是建立灰度直方图(Density Histogram)。灰度级的直方图描述了一幅图像的概貌，通过图像灰度直方图，可以直观的看出图像中各灰度级的分布情况,用修改直方图的方法增强图像是实用而有效的处理方法之一。简单地说，灰度级的直方图就是反映一幅图像中的灰
22、度级与出现这种灰度的概率之间的关系的图形。灰度直方图的横坐标是灰度级，纵坐标是该灰度级出现的频度，它是图像最基本的统计特性。直方图给出一个直观的指标，用以分析一幅数字图像是否合理地利用全部允许的灰度信息，在图像处理程序中察看直方图信息是进行图像处理前必不可少的步骤，因此研究直方图的特性对整个处理过程极其重要。2.2.1 直方图的定义及特点灰度直方图是反映一幅图像中的灰度级与出现这种灰度级的概率之间的关系的统计图表，有一维直方图和二维直方图之分。其中最常用的是一维直方图，其定义是：设r表示图像中像素的灰度级，可以用概率密度函数Pr(rk)表示原始图像的灰度分布。则 式中，N为一幅图像中像素的总数
23、；nk为第k级灰度的像素；rk为第k个灰度级；Pr(rk)表示该灰度级出现的概率。因为Pr(rk)给出了对rk出现概率的一个估计，所以直方图提供了原图的灰度值分布情况，也可以说给出了一幅图像所有灰度值的整体描述。直方图的性质:（1）直方图是图像阈值面积函数导数的负值。（2）图像与直方图之间是多对一的映射关系。（3）只表示图像每一灰度级出现的频数，而失去了具有该灰度级像素的位置信息。（4）一幅图像各子区直方图之和等于该图像的全图直方图。一幅图像的直方图可以提供下列信息：（1）图像像素值的动态范围。（2）每个灰度级上像素出现的频数。（3）图像的整体对比度情况。（4）整幅图像的平均明暗。因此在图像处
24、理中，直方图是很有用的决策和评价工具，直方图统计在对比度拉伸、灰度级修正、动态范围调整、图像亮度调整、模型化等图像处理方法中发挥了很大作用。2.2.2 红外图像直方图由于红外图像在成像方面的特点，其直方图具有一定的规律。为了比较说明，如下图所示，图 2.3 是可见光图像及其对应的直方图，图 2.4 是红外图像及其对应的直方图。根据理论分析、实验结果以及与可见光图像直方图的比较，可以得出红外热图像直方图具有以下特点：（1）像素灰度值动态范围不大，很少充满整个灰度级空间，可见光图像的像素则分布于几乎整个灰度级空间。（2）直方图中有明显的峰存在，多数情况下为单峰或双峰(分为主、次峰)，而可见光图像直
25、方图的峰不如红外图像明显，一般会有多个峰同时存在。（3）绝大部分像素集中于某些相邻的灰度级范围，这些范围以外的灰度级上则没有或只有很少的像素；而可见光图像的像素分布则比较均匀。上述三点是大多数红外图像直方图所具备的特点，但也不是绝对的。由于具体的气候条件、环境温度等因素的影响，不同季节不同时间段各种物体的热辐射呈现不同的特点，所以实际当中的红外图像往往呈现出各自的特点，并不一定与上述特点完全一致。2.3 红外图像的对比度及分辨率（1）红外图像对比度。红外热像仪是一种利用目标与背景之间的温差来成像的成像装置。由于一般景物的温差比较小，再加上经过大气传输、热像仪中光学部分和电子处理部分过程中损失的
26、灰度级，所以红外图像的对比度比较低，不利于人眼的观察。通常可以在灰度直方图中看出此特征，往往表现为绝大部分灰度集中于某些相邻的灰度级范围内。（2）红外图像分辨率。红外成像系统由于探测器阵列数目有限及探测单元尺寸的限制，空间采样频率无法满足采样定理，图像空间分辨率低，混频现象有时很严重。而制造密集的红外焦平面阵列，工艺复杂，费用昂贵，按照傅立叶光学的观点，光学成像系统是一个低通滤波器，由于受到光学衍射的影响，其传递函数在由衍射极限分辨率所决定的某个截止频率上，其值全为 0。而大多数自然景物空间频率较丰富，包括各种高频信息，红外成像系统由于光学衍射和有限的探测器尺寸，成像过程中图像信号的高频部分（
27、细节）会有所丢失，造成图像的模糊和变形。所以目前的红外热像仪输出的红外图像分辨率较低。2.4 红外图像的噪声分析对非致冷红外热成像系统而言，虽然存在诸多优点，但由于固有的本质特性，红外热释电探测器的分辨率还不能做的很高，导致图像的对比度、信噪比较低。图像噪声主要来源于温度噪声、热噪声、放大器噪声，而温度噪声和热噪声是一种白噪声源(WHITE-NOISE)，而放大器噪声通常只需要考虑沟道热噪声，而无需考虑复合噪声等。因此在红外成像成像系统中，占主导地位的是白噪声源。红外图像噪声的情况非常复杂，因此要完全滤除图像的噪声几乎不可能，因为每一种图像滤波算法只适合滤除一种或几种噪声。目前滤除噪声的方法分
28、成两类：全局处理，它必须知道统计模型，如 Wiener 滤波、Kalman 滤波等方法；采用局部算子，如中值滤波、梯度倒数加权滤波等典型算法。3 红外目标检测技术3.1 红外序列图像运动目标检测的基本方法运动目标检测就是从视频流中失除静止的背景，检测出运动的目标，并尽可能多的获取其携带的运动信息。目标检测效果的好坏直接关系到运动目标跟踪，而且也关系到整个系统的优劣和实用性。下面首先介绍三种传统而经典的序列图像中目标检测方法。3.1.1连续帧间差分法帧间差分法是传统的运动目标检测算法之一，是检测相邻两帧图像之间变化最简单、最直接的方法，也是在运动目标检测中使用最多的一类算法。其基本原理是将相邻两
29、帧图像对应像素点灰度值相减，对应点的像素灰度相差很小则认为此处的景物是静止的，即背景部分;反之，对应点的像素灰度相差很大则认为这是由图像中物体运动引起的，该区域即对应运动目标。一个最基本的帧间差分法的流程如图3.1所示:由于帧间差分反映目标运动状态的像素点偏少，并且连续两帧图像的帧间差分检测出的目标会比真实的目标大很多，为了改进连续图像的帧间差分效果，有人提出了利用连续三帧图像检测运动目标，判断像素点是否属于运动目标。使用相邻帧差分法需要解决两个问题:对于视频中相邻两帧的对应点，由于噪声的存在会导致非运动点的差值超过阂值;另一个问题是对于运动的物体，由于物体内部的一致性，其内部点的亮度只保持微
30、小变化。解决第一个问题的方法是通过均值滤波方法(典型的3x3窗口和5x5窗口)消除噪声的影响，但是这种方法会带来运动轮廓模糊等不良效果。解决第二个问题的方法是:基于相邻帧差分的运动检测算法只检测运动物体的边缘点，完成运动边缘检测后进行运动物体聚合和分类处理完成完整的运动物体检测。帧间差分法优点在于:(1)对于简单背景下的运动目标检测很有效;(2)算法简单，计算量小，易于实现实时检测;(3)由于相邻帧之间时间间隔一般较短，因此对于场景中的光线变化不敏感，对动态环境有较好的适应性。其缺点在于:(1)该算法是假定目标是在不断运动的，如果物体静止一段时间，该算法将检测不到目标。在目标与背景都存在运动时
31、，直接运用帧差法也无法进行有效的目标检测。(2)两帧间目标的重叠部分不容易检测出来，不能分割出所有的运动像素点，在运动目标内部容易产生空洞;(3)检测位置不够精确，特别是目标运动较快时，由于目标在相邻帧之间运动位移较大，导致检测到的运动变化区域内的被覆盖的和显露的背景区域较大，从而影响运动目标的准确提取。3.1.2背景差分法在固定摄像机监控系统中，往往选用计算简单的、实时效果都比较不错的背景差分建模方法，实现监控功能。背景差分模型法，就是将每个输入视频帧和一张背景图像相比较，如果同位置的像素特征、像素区域特征或其他特征存在一定程度的差别，则新视频帧中这些位置的像素点或像素区域就构成前景运动目标
32、区域，若对这些前景像素点做进一步处理，即可得到运动目标位置、大小、形状等信息，以便进行目标跟踪和视频内容理解。背景差分建模方法的过程，虽然背景差分模型算法繁多，但按照运动目标检测的过程来分，大多包含4个部分：预处理、背景建模、前景检测和运动区域后处理。预处理就是在建立背景模型前，对从视频获取阶段得到的视频数据加以整理和处理的过程。在监控过程中有摄像机噪声、雨雪等瞬时环境噪声或云彩遮盖等光线影响时，这样对于直接获得的视频数据不能直接应用。在有一些的监控设备中，由于设备的原因，不能达到每一帧都需处理的要求，就需要在这一阶段中，进行降低帧大小和速率的操作。背景建模就是对构建背景图像或通过构建某种模型来表示背景。前景检测也就是阈值分割，简单地说就是利用当前视频帧与背景模型的差异来检测出运动区域参考像素这个步骤。如果差值大于一定阈值，则判定该像素为组成前景。运动目标的像素，否则，就认为是背景像素。在经过前几个阶段操作之后，分割出的像素不仅仅有感兴趣的前景运动像素，往往还包含由于前景物体运动出现相互遮挡、物体阴影或者噪声等不真实的运动目
