1、人眼调制传递函数；临界可见偏差；图像质量评价1 引言1.1研究背景及意义在一个图像系统中，从图像的获取，到图像的发送、传输、接收、输出（显示）、复制等等，每一个环节都会产生干扰，都会使图像质量降低，不能很好的贴合人眼直接观察到的图像。例如，摄像时，由于光学系统失真、相对运动、大气湍流等都会使图像模糊；医学上，由于受到人体的器官、组织、光照等各个方面的影响，拍到的照片总是不尽人意，很难识别病变组织与正常组织，做出早期诊断。因此，如何对这些“降质”图像或受到噪声污染的质量不太满意的图像进行处理，以符合人们的要求，例如尽可能恢复原貌，改善图像的视觉效果，突出有用的目标等，具有广泛的应用前景和工程价值
2、。这也是图像处理的一般要求。图像增强是一种常用的图像处理方法，其目的是将图像中感兴趣的部分尽可能突现出来。例如一幅侦察图像甚至有可能是经过各种欺骗和伪装后的侦察图像，在这类图像中，目标和背景可能混淆不清，很难区别。如何从中识别出人们感兴趣的目标，如机场、跑道、飞机、建筑物等，就需要进行增强处理。图像增强处理的应用已经渗透到医学诊断、航天航空、军事侦察、指纹识别、无损探伤等领域。例如：（1）在医学应用当中的血管造影技术，由于心脏的剧烈运动，并且是非刚体运动，造成影像图与原始血管图的匹配非常困难。如果能够先对造影图像进行增强滤波处理，可以去除非感兴趣器官（如肌肉、骨骼等）对X射线吸收形成的背影图像
3、，则有利于提高医生临床诊断的准确性。对X射线图像、CT图像、内窥镜图像等进行增强，使医生更容易从中确定病变区域。（2）红外技术在军事及人们日常生活中有着越来越广泛的应用。由于红外探照灯以及红外探测器件的限制，红外成像系统的成像效果不够理想。在民用监测应用中，主要表现在夜视距离近，图像特征信息不明确等方面。为使夜视距离达到监测要求并使图像更适合于人眼观测、适用于图像后续目标识别及跟踪处理，有必要对红外图像低照度采集来增长主动式红外夜视系统的夜视距离，对图像进行增强及目标分割处理来增强红外图像视觉效果。（3）在航天遥感和航空遥感应用中，由于遥感图像的获取平台高，很容易受到自然因素的影响，尤其是可见
4、光波段，如天气、云雾等都能使图像质量下降，因此获得的图像有的会出现对比度低、图像模糊等现象；有的图像总体视觉效果较好，但是对所需信息，如边缘部分或线状物不够突出；还有的图像波段数据量大，例如TM图像，而且各波段之间存在一定的相关性，为进一步处理造成困难。所以，可通过图像增强技术，改善图像质量，提高图像目标视觉效果，突出所需要的信息，压缩图像数据量，为进一步的图像分析判读做好预处理工作。（4）在煤矿工业电视系统中采用增强处理来提高工业电视图像的清晰度，克服光线不足、灰尘等原因带来的图像模糊、偏差等现象，减少电视系统维护量。总之，图像增强技术的快速发展同它广泛的应用是分不开的，发展的动力来自不断涌
5、现的新的应用，可以预料，在未来社会中，图像增强技术将会发挥更大的作用。1.2 图像增强的研究现状图像增强的主要目的是改善图像的视觉质量。对于一幅给定的图像，图像增强可以根据图像的模糊情况和应用场合，采用某种特殊的技术来突出图像中的某些信息，削弱或消除某些无用的信息，从而有目的的强调图像的整体或局部特征 。经过多年研究，图像增强技术已经取得了长足的进步，到目前为止，已经形成了多种理论算法。目前常用的增强技术根据其处理所进行的空间不同，可分为基于空间域（图像域）的方法和基于频率域（变换域）的方法两种。其中空间域增强方法包括点处理和模板处理两种，点处理增强常用的方法有：直接灰度变换、直方图处理、图像
6、间运算等等，模板处理增强常用的方法有：线性平滑滤波、非线性平滑滤波、线性锐化滤波和非线性锐化滤波等；频域增强方法有低通滤波、高通滤波、带阻滤波、同态滤波等。低通滤波能够平滑图像，将像素灰度值突变的细节滤掉；而高通滤波能够增强图像，保留像素突变的细节。经典的空间域和变换域增强方法都可以在绝大多数“数字图像处理”教材中找到，为此不再赘述。以下将介绍空间域和变换域一些较新的研究进展。1.2.1 基于直方图处理的图像增强算法由于直方图数据描述简单，操作简便，且易于编程实现，因此在图像处理、模式分析与识别等多个领域得到了广泛的应用。以直方图为基础的增强算法研究是空间域算法的主流研究方向。研究人员在直方图
7、基础上，结合不同的应用对象和分析要求，提出了多种增强算法，这些算法主要分为两大类：全局直方图算法和局部（自适应）直方图算法。全局直方图均衡（Global Histogram Equalization, GHE）是全局算法中的代表性成果，其基本思想是依据直方图的统计结果，相应地分配灰度级的动态范围。虽然这种算法的增强效果并不是最优的，但这种直方图均衡的增强思想却被其它算法广泛采用。当图像的灰度级级数较多，且分布较均匀时，GHE算法的增强效果不明显，针对以上问题，Pizer等人将GHE算法推广应用于图像的局部分析，提出了局部自适应直方图增强算法（Adaptive Histogram Equaliz
8、ation,AHE）。AHE算法是依据像素局部邻域的直方图统计结果，确定该像素灰度级映射值，使局部对比度明显拉伸，然而该算法计算复杂度太大、对噪声敏感、平滑区过增强等问题较为突出。针对这些问题，很多学者提出了多种改进的方案。自适应算法主要是依据图像的局部信息进行调整，这使得某些所占空间区域较大的物体表面形态发生了较大的变化。为了克服以上问题，Caselles等人提出了保形对比度增强方法（Shape Preserving Contrast Enhancement,SPCE）。算法采用局部直方图均衡算法来增强对比度，同时保持图像的水平集（Level-sets）不变，从而使增强后图像中的物体区域形状
9、保持不变。以上算法都是在不改变直方图统计方式上做出的，但由于传统直方图存在明显缺陷，即完全丢失了像素的位置信息，使得这些算法的性能受到了一定程度的影响。后面将对传统直方图数据描述方式的局限性进行深入地分析。1.2.2基于多尺度分析的图像增强方法近年来在变换域算法研究方面也取得了一些可喜的进展，其中较为突出的是基于多尺度分析的增强算法。多尺度分析又称为多分辨率分析，它是由Mallat首先提出来的。近几年来，以小波变换为代表的多尺度分析方法备受科学技术界的重视，它不仅在数学上已经形成一个新的分支，而且在应用上，如信号处理和图像处理，被认为是近年来分析工具及方法上的重大突破。原则上讲，凡传统使用傅里
10、叶分析的方法都可以用小波分析来代替。小波分析在时域和频域上都具有很好的局部特性，而且由于对高频信号采取逐渐精细的时域或空域步长，从而可以聚焦到分析对象的任意细节。在图像处理和计算机视觉中，通常要进行分析和识别的图像结构有着不同的大小，一般情况下不能事先定义一个分析图像的最优分辨率，因此采用多分辨率分析将原始图像分为不同分辨率上的几个信号，然后选择合适的分辨率或同时在各级分辨率上处理这个信号，从而达到多尺度分析的目的，利用这些不同分辨率上的信号，重构的信号就能够在一些方面表现出比原始信号更好的性能。近几年来使用多尺度分析思想来增强这些图像已经引起众多研究者的关注，并且在理论和应用上取得了一些有价
11、值的结果。最近，一种自适应的图像去噪、保留并增强边缘信息的方法已经被Jung等人提出。这种方法使用冗余的小波变换将图像进行多分辨率分解，在每一级分辨率上，把对应噪声和边缘的小波系数用Gaussian函数建模，然后采用一种软阈值的方法，即小波收缩（Wavelet Shrinkage），处理这些系数，在考虑了保留边缘的几何约束后，用这些处理过的小波系数进行重构就可以获得具有很好增强效果的图像。为了验证这种方法的有效性，Jung对具有严重噪声污染的Lena图像、监控图像和自然场景图像进行了增强处理，结果表明这种方法是有效的。基于多尺度分析思想的图像增强方法主要应用的场合通常是一些特殊图像，如医学图像
12、、卫星遥感图像、纹理图像和严重噪声污染的图像等。这些方法的基本思想都是将图像先进行分解，然后对分解后的图像进行处理，最后重构图像，从而达到某种处理效果。但以上算法面临的主要问题是很难确定合适的分析尺度及不同尺度下的最优调节参数。目前尚无统一的衡量图像增强质量的通用标准。在图像增强的方法使用上，可以使用一种增强方法，也可以使用多种方法混合使用，只要达到需要的效果即可。1.3 研究内容和目的直方图均衡化依据各灰度级的统计量相应地调整图像的灰度值动态范围，即拉大统计量较大的灰度级级差，达到图像增强的目的。但这类方法存在三个主要的缺陷：首先，在直方图均衡化处理过程中，灰度级直方图只是简单地数量上的统计
13、，而丢失了灰度级的位置信息，使得统计结果无法客观反映各灰度级对刻画图像信息所起的作用，即出现灰度级统计量与信息量不一致问题。比如，在图像的平滑区或背景区内某些灰度级的统计值虽然很大，但这些灰度级所刻画的信息却很少（或很简单）。因此本文提出一种新的基于视觉注意机制的灰度级信息量直方图构造方法。该直方图综合考虑灰度级的个数和空间分布，并在灰度级统计过程中注重保留重要信息区的灰度级统计量，同时削弱平滑区或背景区的统计量，使得统计结果可较好地反映各灰度级对刻画信息所起的作用。另外，传统的直方图均衡化方法是在假定不同的灰度级的视觉敏感度一样的基础上进行的，但研究发现，人眼视觉系统的感知特性是非线性的，即
14、在不同的灰度级范围内，视觉敏感度是不同的，在暗区，敏感度低，在亮区，敏感度高，因此传统的直方图均衡化方法在分配信息时没有充分利用视觉敏感度。为解决这个问题，本文把灰度级按照视觉感知特性分为三个部分：最弱感知区、最强感知区及次强感知区，同时把图像中大量信息区的灰度级分配在最强感知区，把含有少量信息的区域的灰度级分配在最弱感知区及次强感知区，但次强感知区分配到的信息量要比最弱感知区多，这样可以拉伸图像的灰度层次，提高图像的对比度，使增强后的图像获得满意的视觉效果。由上一段得知，需要把直方图划分为三个区域，即大量信息区与两个少量信息区，信息区的划分，尤其是最大信息区与最小信息区的划分，不能总是依靠人
15、眼，这样算法移植性不高，而且由于图像信息分布的多样性，也不能固定阈值，比如，有的图像灰度级较多且分布较均匀，则阈值不能太小，因为如果分配到最强感知区的信息量太多，则会有大量的信息分享有限的灰度级空间，导致小于人眼感知能力曲线的信息量增加，反而不利于感知图像；有的图像灰度级较少，这时阈值不能太大，因为本文期望能把大量信息尽可能的分配在最强敏感区及次强敏感区，也就是在不损害且充分利用最强感知区信息的情况下，把尽可能少的信息分配给最弱感知区。为了自适应的获取使图像增强效果最佳的阈值，本文根据视觉感知模型设计了一个简单有效的图像增强质量客观评价算法，该算法除了能对增强效果进行评价，也可以对参数进行自适
16、应调节，从而获得最佳调节参数。2 人眼视觉系统概述图像信息是通过人的视觉来接收的。在实际应用中，许多图像处理与分析的目的就是改善图像的视觉效果或处理后以便于人们对图像的分析，所以了解人的视觉系统特性及视觉信息处理特性在观察图像或判读图像时的某些现象和特性是有必要的。视觉是人类的主要感觉来源，人类认识外界信息中80%来自视觉。视觉器官“眼睛”接受外界的刺激信息，而大脑对这些信息通过复杂的机理进行处理和解释，使这些刺激具有明确的物理意义。视觉系统是一个复杂的完善的信息获取和分析系统，它涉及许多学科，但目前尚有许多感知机理仍不清楚，这也是阻碍图像处理发展的重要原因。因为现有的大多图像处理算法都或多或
17、少地引入了人眼视觉系统，为便于理解，本章首先就人眼构造及光学特性、人眼视觉感知系统作简单介绍。 人眼构造及其光学感知特性人眼的结构和照相机相似，如图2.1所示。眼睛的前部为一圆球，其平均直图 2.1 人眼的构造径为20mm左右，它由三层薄膜包着，即角膜和巩膜外壳、脉络膜和视网膜。它的正前方六分之一是透明的角膜，角膜是一种硬而透明的组织，它盖着眼睛的前表面，巩膜与角膜连在一起，巩膜是一层包围着眼球剩余部分的不透明的膜。脉络膜位于巩膜的里边，这层膜包含有血管网，它是眼睛的重要滋养源，脉络膜外壳着色很重，因此有助于减少进入眼内的外来光和眼球内的回射。在脉络膜的最前面角膜的后面被分为睫状体和虹膜。虹膜
18、中间有一小圆孔称为瞳孔。在虹膜环状肌的作用下，瞳孔的直径可在28mm间调节，从而控制进入人眼的光通量，起到照相机光圈调节的作用。瞳孔后面是一扁球形的弹性透明体，称为晶状体，相当于照相机镜头的作用。它在睫状肌的作用下，可以调节曲率改变焦距，使不同距离的景物可以在视网膜上成像。当晶状体的折射能力由最小变到最大时，晶状体的聚集中心与视网膜之间的距离约由17mm缩小到14mm。当眼睛聚集到远于3m的物体时，晶状体的折射能力最弱，当聚集到非常近的物体时，其折射能力最强。眼睛最里层的膜是视网膜，它布满在整个眼球后部的内壁上，当眼球适当聚集时，从眼睛的外部物体来的光就在视网膜上成像。整个视网膜表面上分布的分
19、离的光接收器造成了图案。这种光接收器可分为两类：锥状体和杆状体。锥状细胞的直径为26 m，长约40 m，有500万个。它们主要位于视网膜的中间部分，叫做中央凹，即黄斑区，它们主要是在强光下检测亮度和颜色信息。每个锥状细胞连接着一个视神经末梢，因此黄斑区的分辨率极高，从而使人所感兴趣物体的像落在视网膜的中央凹上，这样人们利用这些锥体细胞就能充分地识别图像的细节，形成人眼的明视。在视网膜的其他部分分布着杆状细胞，直径约27004 m，长约60 m，共有750015000万个。由于分布面积较大且多个杆状细胞与一个视觉神经末梢相连，使接收器能够识别细节的量减少了，即对细分辨率较低，只能给出视野中一般的
20、轮廓，形成人眼的暗视。它们能在弱光下检测亮度信息，但没有色彩的感觉。例如，在白天呈现鲜明颜色的物体，在月光下却没有颜色，这是因为只有杆状细胞受到了刺激，而杆状没有色彩的感觉。视锥细胞和视杆细胞统称视细胞。图2.2表示视细胞在视网膜上的分布情况。以眼球水平方向上的圆周角作为水平距离的度量，黄斑中心在鼻侧的地方是视神经的汇聚点，没有视细胞就形成“盲点”。对于落入盲点的图像人眼无法看到。图 2.2 视细胞在视网膜上的应用从生理学角度看视觉有以下显著特性：（1）分辨率人眼对于不同空间细节的分辨能力是变化的，视觉空间频率响应具有带通滤波器的性质，高频端的灵敏度要低于低频端的灵敏度，对高频区域的噪声或失真
21、也不太敏感。（2）同时对比度由于人眼对亮度有很强的适应性，因此很难精确判断刺激的绝对亮度。即使有相同的亮度，由于其背景亮度不同，人眼所感受的主观亮度是不一样的。（3）对比灵敏度实验表明，人眼辨别亮度差的能力是同周围环境以及照度本身的大小有关，即视觉对亮度偏差的敏感程度随背景亮度变化呈非线性变化，总的来说在高亮度背景区人眼对亮度偏差的辨别力相比在低亮度区要强。把主观上可识别的最小亮度差称为亮度的可辨别阈值。（4）视觉掩蔽效应当存在多个刺激量时，它们之间会相互干扰，导致视觉阈值的变化，它有多种表现形式，人眼对损伤的敏感度在非常亮或者非常暗的区域会下降，在图像空间域变化大的区域会比变化小的区域低。2
22、.2 人眼视觉感知系统2.2.1 视觉信息传递过程视觉是一个根据图像发现周围景物中有什么物体和物体在什么地方的过程，也就是从图像获得对观察者有用的符号描述的过程。因此视觉是一个有明确输入和输出的信息处理问题。人类视觉信息处理系统是由视觉器官、视觉通路和多级视觉中枢组成，实现着视觉信息的产生、传递和处理。考虑到其中的视觉信息处理过程的复杂性，研究学者又将其划分为视感觉处理和视知觉处理两个阶段。这样，人眼视觉信息的处理则如图2.3所示。图 2.3 人眼视觉的信息传递过程2.2.2 感受野研究发现，视觉通路上各个层次的神经元感受野尺寸是不同的，神经元的层次越深入，其感受野的尺寸就越大，比如，视网膜中
23、心（Fovea）具有较小的感受野，外周（Periphery）的则较大，这种层次体系被称为感受野等级结构。视网膜神经节细胞和外侧膝状体神经元的感受野呈同心圆中心-外周颉颃形式，即在感受野的中心与外围，刺激对细胞响应的影响正好相反。视皮层神经元的感受野对光点刺激没有反应，而是对具有一定形状的刺激敏感，它们通常被形象的称为特征检测器。当具有一定朝向和宽度的条形刺激出现在其感受野内某个特定位置上时，细胞的响应最强，而当刺激偏离该朝向时则反应急剧降低，甚至消失，这些细胞被称为朝向选择性细胞（又称做简单细胞）。感受野机制所反映出来的多尺度表示方法和中央外周（Center-Surround）计算策略是一种十
24、分重要的视觉计算模型。2.2.3 人类视觉系统的注意机制视觉注意（Visual Attention）是人类视觉的一项重要的心理调节机制。根据上文所述，视感受的信息处理方式是并行（Parallel Process）的，视知觉的信息处理方式是串行（Serial Process）的。这样，视感觉过程所提供的信息量就会远远大于视知觉过程所能处理的信息量。将这严重失调的两个过程联系起来的桥梁正是视觉注意机制，它是视觉感知过程的引导者，是其高效性和可靠性的保障。1. 认识视觉注意图2.4是几个视觉注意示例图，从中可以非常明显地感受到视觉注意的存在。这三幅图像中，（a）中的圆环，（b）中的圆盘和（c）中的1
25、35度线段会迅速引起人们的注意。之所以会出现这样的反应，正是由于视觉注意机制在发生作用。图 2.4 视觉注意的示例图2.选择性视觉注意从视觉注意与视觉感知的关系中可以看到，选择性是视觉注意众多功能中最根本的一条，它表现为舍弃一部分信息，以便有效地处理重要信息的控制和调节能力。具体地说，人们在观察一个场景时，总是有选择地将注意力集中在场景中的某些最具吸引力的内容上。从人的角度来看，这是一个从场景中选择内容进行观察的过程，可以称之为视觉选择性（Visual Selection）；从场景的角度来看，场景中的某些内容比其他内容更能引起观察者的注意，可以称之为视觉显著性（Visual Saliency）
26、。两者其实都是从不同的角度对选择性视觉注意（Selective Attention）过程的描述。而在该过程中，引起注意的场景内容则被称为注意焦点（Focus ofAttention，简称FOA）。选择性视觉注意也是各个领域的研究者共同关心的一个焦点，目前大家对于视觉注意机制的研究几乎全部集中在这一方面。人类视觉之所以能够通过极为有限的信息处理资源完成极为复杂的信息处理任务，选择性视觉注意的控制和调节能力在其中发挥着决定性的作用。2.3 小结本章首先介绍了人眼的生理结构，初步了解了视觉的生理特性，然后从心理学角度介绍了视觉信息的传递过程及其主要特性，并简要介绍了感受野，同时论知的关系、选择性视觉
27、注意。本章的这些研究为将人眼视觉特性引入到图像增强算法中打下了坚实的理论基础。人类视觉是非常复杂的，它是心理学领域长期以来一直致力解决的主要问题之一，目前形成的许多理论仍然存在不少局限，这主要表现在：大多数观点还停留在假说层次；许多理论还不够完善；不同理论之间还有一些矛盾；有些方面仍然存在研究空白。目前正在进行的探索正在朝着统一的完整的理论方向前进。3 基于视觉注意机制的灰度级信息量直方图构造3.1传统直方图的缺陷传统直方图由于数据描述简单、便于计算机编程实现等优点，被广泛应用于各类图像分析算法，是图像的一种重要的表达方式。但这种表达也存在严重缺陷：在灰度级统计时，完全丢失了灰度级的位置信息，
28、使得直方图的统计结果并不能反映各灰度级对刻画信息所起的作用，即出现灰度级统计量与信息量不一致问题。为了使以上分析更直观，本文特别找了一幅图像，如图3.1（a）所示，图中背景和刻画信息灰度级区分较为明显。从该图像的直方图统计结果可以看出，最大统计值仅是由背景提供，但图中的主要细节信息却是由直方图中统计值较小的灰度级刻画的，在直方图增强处理中，刻画背景的灰度级由于统计值较大，被分配了较大的灰度级空间，而真正刻画主要信息的灰度级因统计值较少，很难得到有效的拉伸，使得处理后的图像质量还不如原图像的效果，见图3.1（b）。因此，仅仅依据数量上的统计结果，调整灰度级的动态范围，难以保证对主要刻画信息的灰度
29、级进行有限拉伸，极大地影响基于直方图的图像增强算法的性能和鲁棒性。图 3.1 rose原图和采用GHE算法的增强图像及相应的直方图3.2常用的区域显著性度量方法根据显著性度量方法的不同，可将目前的显著区域检测算法分为两大类。第1类是基于局部特征的算法，即从候选区域内部提取显著性特征。这类方法认为视觉显著性的产生是由于视觉对象本身具有某种能够引起观察者注意的特殊属性。比如：Bourque比较候选区域与整幅图像的边缘密度差异；Kadir将像素邻域的复杂性（complexity）作为其显著性特征，并通过该邻域的灰度直方图的熵描述其复杂性；Gesu通过离散对称性变换（DST）和离散矩变换（DMT）的结合描述像素邻域的显著性。该方法往往是针对某些特定的目标或图像提出来的，通用性较差。第2类是基于视觉反差的算法，即利用候选区域与外界比较产生的差异值或差异矢量来描述显著性。这类方法认为视觉显著性的产生是由于视觉对象与外界通过某种对比形成的能够引起观察者注意的新异刺激。在这些研究者中，有人利用候选区域与周边区域比较产生的差异值或差异矢量来描述显著性。Wai通过DOG算子比较候选区域
