1、图像理解图像处理与理解摘要：图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。基本内容 图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。本文从图像处理的历史以及图像处理技术的主要内容包括图像压缩，增强和复原的描述，列举了图像处理涉及到的技术。同时通过遥感图像处理分析和军事中的应用为例进一步阐述图像处理。图像处理的的发展历史：图像处理最早出现于20世纪50年代，人们开始利用计算机来处理图形和图像信息。图像处理作为一门学科大约形成于20世
2、纪60年代初期。早期的图像处理的目的是改善图像的质量。输入的是质量低的图像，输出的是改善质量后的图像。首次获得实际成功应用的是美国喷气推进实验室。他们对航天探测器在1964年发回的几千张月球照片使用了图像处理技术，为人类登月创举奠定了坚实的基础，也推动了图像处理这门学科的诞生。图像处理取得的另一个巨大成就是在医学上获得的成果。1972年英国工程师Housfield发明了用于头颅诊断的X射线计算机断层摄影装置，也就是我们通常所说的CT。CT的基本方法是根据人的头部截面的投影，经计算机处理来重建截面图像。1979年，这项无损伤诊断技术获得了诺贝尔奖，说明它对人类作出了划时代的贡献。从70年代中期开
3、始，随着计算机技术和人工智能、思维科学研究的迅速发展，图像处理向更高、更深层次发展。人们已开始研究图像理解或计算机视觉。很多发达国家投入更多的人力、物力到这项研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论，这个理论成为计算机视觉领域其后十多年的主导思想。图像理解虽然在理论方法研究上已取得不小的进展，但它本身是一个比较难的研究领域，存在不少困难，因人类本身对自己的视觉过程还了解甚少，因此计算机视觉是一个有待人们进一步探索的新领域。图像处理在几个领域里的应用：1、工业生产：产品质量检测，生产过程控制，CAD，CAM2、交通运输3、军事：军事目标侦察，
4、制导系统，警戒系统，自动火器控制，反伪装等4、公安：现场照片，指纹，手迹，印章，人像等处理和鉴别5、机器人视觉6、娱乐： 电影特技，动画，广告等7、通信：图象传输，电视电话，HDTV等8、宇宙探测：星体图片处理9、遥感：地形、地质、矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害预测，环境污染的监测，气象云图10、生物医学： CT，NMR，X射线成象，B超，红外图象，显微图象在国土资源调查与环境评价及灾害监测中的应用军事应用隐形飞机、定位轰炸军事应用图像的不同分类：(1) 二值图像：一幅二值图像的二维矩阵仅由0、1两个值构成，“0”代表黑色，“1”代白色。由于每一像素（矩阵中每一元素）取值
5、仅有0、1两种可能，所以计算机中二值图像的数据类型通常为1个二进制位。二值图像通常用于文字、线条图的扫描识别（OCR）和掩膜图像的存储。(2) 灰度图像：灰度图像矩阵元素的取值范围通常为0，255。因此其数据类型一般为8位无符号整数的（int8），这就是人们经常提到的256灰度图像。“0”表示纯黑色，“255”表示纯白色，中间的数字从小到大表示由黑到白的过渡色。在某些软件中，灰度图像也可以用双精度数据类型（double）表示，像素的值域为0，1，0代表黑色，1代表白色，0到1之间的小数表示不同的灰度等级。二值图像可以看成是灰度图像的一个特例。(3) 索引图像：索引图像的文件结构比较复杂，除了存
6、放图像的二维矩阵外，还包括一个称之为颜色索引矩阵MAP的二维数组。MAP的大小由存放图像的矩阵元素值域决定，如矩阵元素值域为0，255，则MAP矩阵的大小为2563，用MAP=RGB表示。MAP中每一行的三个元素分别指定该行对应颜色的红、绿、蓝单色值，MAP中每一行对应图像矩阵像素的一个灰度值，如某一像素的灰度值为64，则该像素就与MAP中的第64行建立了映射关系，该像素在屏幕上的实际颜色由第64行的RGB组合决定。也就是说，图像在屏幕上显示时，每一像素的颜色由存放在矩阵中该像素的灰度值作为索引通过检索颜色索引矩阵MAP得到。索引图像的数据类型一般为8位无符号整形（int8），相应索引矩阵MA
7、P的大小为2563，因此一般索引图像只能同时显示256种颜色，但通过改变索引矩阵，颜色的类型可以调整。索引图像的数据类型也可采用双精度浮点型（double）。索引图像一般用于存放色彩要求比较简单的图像，如Windows中色彩构成比较简单的壁纸多采用索引图像存放，如果图像的色彩比较复杂，就要用到RGB真彩色图像。涉及图像处理的主要技术：数据：图像处理离不开海量、丰富的基础数据，包括视频、静态图像等多种格式，如Berkeley分割数据集和基准500 （BSDS500）、西门菲沙大学不同光照物体图像数据库、神经网络人脸识别数据、CBCL-MIT StreetScenes（麻省理工学院街景数据库）等。
8、数字化：通过取样和量化过程将一个以自然形式存在的图像变换为适合计算机处理的数字形式。图像在计算机内部被表示为一个数字矩阵，矩阵中每一元素称为像素。图像数字化需要专门的设备，常见的有各种电子的和光学的扫描设备，还有机电扫描设备和手工操作的数字化仪。图像编码：对图像信息编码，以满足传输和存储的要求。编码能压缩图像的信息量，但图像质量几乎不变。为此，可以采用模拟处理技术，再通过模-数转换得到编码，不过多数是采用数字编码技术。编码方法有对图像逐点进行加工的方法，也有对图像施加某种变换或基于区域、特征进行编码的方法。脉码调制、微分脉码调制、预测码和各种变换都是常用的编码技术。图像压缩：由数字化得到的一幅
9、图像的数据量十分巨大，一幅典型的数字图像通常由500500或10001000个像素组成。如果是动态图像，是其数据量更大。因此图像压缩对于图像的存储和传输都十分必要。有两类压缩算法，即无损压缩和有损压缩。最常用的无损压缩算法取空间或时间上相邻像素值的差，再进行编码。游程码就是这类压缩码的例子。有损压缩算法大都采用图像交换的途径，例如对图像进行快速傅里叶变换或离散的余弦变换。著名的、已作为图像压缩国际标准的JPEG和MPEG均属于有损压缩算法。前者用于静态图像，后者用于动态图像。它们已由芯片实现。图像增强：使图像清晰或将其转换为更适合人或机器分析的形式。与图像复原不同，图像增强并不要求忠实地反映原
10、始图像。相反，含有某种失真（例如突出轮廓线）的图像可能比无失真的原始图像更为清晰。常用的图像增强方法有：灰度等级直方图处理：使加工后的图像在某一灰度范围内有更好的对比度；干扰抑制：通过低通滤波、多图像平均、施行某类空间域算子等处理，抑制叠加在图像上的随机性干扰；边缘锐化：通过高通滤波、差分运算或某种变换，使图形的轮廓线增强；伪彩色处理：将黑白图像转换为彩色图像，从而使人们易于分析和检测图像包含的信息。图像复原：除去或减少在获得图像过程中因各种原因产生的退化。这类原因可能是光学系统的像差或离焦、摄像系统与被摄物之间的相对运动、电子或光学系统的噪声和介于摄像系统与被摄像物间的大气湍流等。图像复原常
11、用二种方法。当不知道图像本身的性质时，可以建立退化源的数学模型，然后施行复原算法除去或减少退化源的影响。当有了关于图像本身的先验知识时，可以建立原始图像的模型，然后在观测到的退化图像中通过检测原始图像而复原图像。图像处理：图像输入图像处理（增强/复原/编码）图像输出图像理解：图像输入图像预处理图像描述图像分析与理解图像解释1、以通过遥感图像处理分析为例，可涉及图像处理的主要技术：数据压缩和转换技术： 通过数据压缩和数据转换技术的研究，减少数据载体空间，节省运算时间，实现不同星系遥感数据应用的一体化。图像校正 ： 在理想情况下，卫星图像上的像素值只依赖于进入传感器的辐射强度；而辐射强度又只与太阳
12、照射到地面的辐射强度和地物的辐射特性（反射率和发射率）有关，使图像上灰度值的差异直接反映了地物目标光谱辐射特性的差异，从而区分地物目标。而实际上，由于大气层的存在，也由于传感器内探测器性能的差异，使得进入传感器的辐射发生畸变，引起图形模糊，对比度下降等。另一方面，由于卫星飞行时姿态变化及地球形状等因素影响，图像中地物目标的几何位置也会发生畸变。为了使图像更好地满足使用要求，必须尽可能地通过处理消除畸变，恢复图像的本来面目。而实际上，由于大气层的存在，也由于传感器内探测器性能的差异，使得进入传感器的辐射发生畸变，引起图形模糊，对比度下降等。另一方面，由于卫星飞行时姿态变化及地球形状等因素影响，图
13、像中地物目标的几何位置也会发生畸变。为了使图像更好地满足使用要求，必须尽可能地通过处理消除畸变，恢复图像的本来面目。分类方法基于光谱信息（图像像素）的分类 根据像素在分类特征（波段）上的像素值，选择分类器，利用统计方法对每一像元进行分类。通常需要对下面一些问题进行研究：分类器的确定；光谱类的确定；选择训练样本产生统计参数；分类特征的选择。空间信息辅助分类： 基于光谱信息的分类存在着一些缺陷：如有些地类在光谱上难以区分，如水库与河流。基于空间信息的地类类型或形状分类。如城镇居民点图斑的分类结果往往是由水体、植被以及不同类型的建筑等所组成。要用到的主要图像处理技术：图像增强处理、图像分割技术（区域
14、、边缘提取）、图像特征提取、图像描述等。 2、以军事应用为例可能涉及图像处理的主要技术：自动目标识别技术（Automatic Target Recognition简称ATR）实时光学图像相关识别系统的核心技术是自动目标识别技术。由于ATR技术在军事上是导弹精确制导和武器防御系统的关键技术之一，是武器智能化程度的一个重要标准，也代表着一个国家的国防高科技的水平。因此，从20世纪60年代开始，美、英、俄、法等国家已投入大量人力、物力和财力开展ATR的理论研究和实际应用推广，并取得显著成果，美国在中东战争中的精确武器打击是最典型的成功范例。当前精确制导武器所取得的成果还是有限的，最主要的问题是目前主
15、要还是依靠人在导弹发射前发现目标，然后人工锁定首帧目标图像进行自动跟踪，而不能实现不需人工参与的由导弹自动识别目标，做不到“打了不管”。特别是在复杂背景下，机器如何像人一样自动识别目标，目前是相当困难的。虽然从20世纪70年代开始人工智能、智能信息处理技术、计算机视觉的理论研究取得了重大的进展，但是由于ATR领域中研究的背景和对象的复杂性和多样性，特别是在实际环境中，背景与目标不仅有很大的动态变化范围，而且它们以未知的方式变化。目前的ATR的研究都是在一定假设条件下建立的，一旦这些假设条件不成立或不再完全成立时，其ATR系统就不再有效。另外，目前国内外研究的很多ATR方法和算法，除了存在很大的
16、局限性外，在实时实现方面还有很大的距离。因此，当前国外发达国家鉴于精确制导武器在未来战争中的重要地位，还在投入大量人力财力开展ATR研究，如美国国防部已将ATR技术列为二十一世纪的关键技术之一。我国从二十世纪七十年代以来对ATR技术研究也投入较大的人力财力。国防科工委、航天部、电子工业部等很多研究所以及国内重点高校如国防科大、哈工大、北理工、华中科技大学、东南大学等都在开展此项研究，取得不少重要研究成果。但总的来看还是处于理论方法和算法的研究，所研制的ATR系统还处于实验室样机阶段，其性能还有待提高，离真正实战的要求还有较大的距离。3、以安保系统应用为例：动态场景的视觉监控动态场景的视觉监控是
17、计算机视觉领域一个新兴的应用方向.对于视觉监控系统而言，一般涉及到运动检测、运动目标分类、运动目标的跟踪以及监视场景中目标行为的理解与描述几个过程。其中，运动检测、目标分类、人的跟踪属于视觉中的低级和中级处理部分(Low-level and Intermediate-level Vision)，而行为理解和描述则属于高级处理（High-level Vision）。运动检测、运动目标分类与跟踪是视觉监控中研究较多的三个问题，而行为理解与描述则是近年来被广泛关注的研究热点，它是指对目标的运动模式进行分析和识别，并用自然语言等加以描述。由于智能房间的门禁系统、军事安全基地的视觉监控系统、高级人机交互
18、等应用需求，基于运动视觉的生物特征识别技术研究日益显得迫切和重要。例如，在人机交互中不仅需要机器能知道人是否存在、人的位置和行为，而且还需要利用特征识别技术来识别与其交流的人是谁。人运动分析与生物特征识别相结合的视觉监控目前已经成为一个流行的研究方向，特别是非接触式远距离的身份识别研究基于运动视觉的第二代生物特征识别技术，近来倍受关注。作为一种新的行为特征，步态还具有难于隐藏和伪装、易于捕捉等优点，而且它也是一定距离时唯一可感知的行为特征。步态识别旨在不考虑衣服、视角、背景等情况下根据人们走路的姿势进行人的身份识别。由于步态是一种时空变化的运动模式，因此它的处理数据量相对较大。当然，像其它生物特征一样，步态也受一些诸如醉酒、怀孕、关节受伤等物理因素的影响。尽管步态识别是一个相当新的研究领域，目前已涌现出一些尝试性的工作。新技术讲座大作业学院：电子工程学院班级：021052学号：02105123姓名：阿鹏仁
