1、哈工大数字图像处理知识点总结1. 引言1.1 图像的概念图像：是对客观存在的物体的一种相似性的、生动性的模仿或描述，是一种不完全的、不精确的，但在某种意义上是适当的表示。也是对客观存在的物体的某种属性的描述。（非所见即所得，对事物不能完全描述）1.2 数字图像的起源与应用1.3 数字图像处理的概念 图像的类型： 从图像生成角度：物理图像（可见图像（光学图像）、不可见图像（红外）、数学图像等） 从照明角度：多光谱图像（特指不可见光谱）和单光谱图像（激光）；从人眼视觉特点上：可见图像、不可见图像。从波段多少分为：单波段（每点只有一亮度值）、多波段（每点不只一特性如红绿蓝光谱图像）和超波段图像。从图
2、像空间坐标和明暗程度的连续性：模拟图像、数字图像（空间坐标和灰度均不连续，用离散的数字表示）。 图像的表现形式 图像的属性：构成数字图像的要素，灰度坐标图像的属性：1.对比度：灰度差别 0255（256个灰度级） 2. 灰度分辨力：适于人眼3空间分辨力：越高越好4 放大率 对比度与灰度的关系：量化？ 灰度量化 最高、最暗差值尽可能大。 减少灰度级一般会提高图像的对比度。 构成数字图像的要素：地址（坐标）和灰度值 数字图像的处理概念及三种分类：处理分析理解操作对象：狭义数字图像处理：图像图像图像分析：图像数据（特征值）图像理解：数据概念 狭义图像处理强调图像之间进行变换，指对图像进行各种操作以改
3、善图像的视觉效果，或对图像进行压缩编码以减少所需存储空间或传输时间、传输通路的要求。图像分析是对图像中感兴趣的目标进行检测的测量，从而建立对图像的描述，是从图像到数值或符号的过程。经分割和特征提取，把原来以像素构成的图像转变成比较简洁的非图像形式的描述。图像理解研究图像中各目标的性质和它们之前的相互联系，并得出对图像容含义的理解以及对原来客观场景的解译，人而指导和规划行动 数字图像的运算形式：全局、局部、点，串行、并行全局：快速傅立叶变换局部：点运算：对于一幅输入图像，经过点运算产生一幅输出图像，后者的每个像素的灰度值仅由相应输入像素的值 决定（对比度增强，对比度拉伸，灰度变换）串行：后一像素
4、输出结果依赖于前面像素处理的结果，并且只能依次处理各像素而不能同时对各像素进行相同处理的一种处理形式。并行：对图像的各同时进行相同形式运算的一种处理形式。 图像工程中的层次及与相关学科的关系计算机图形学研究是如何利用计算机技术来产生图形、图表、绘图，以来表达数据信息。与图像分析相比，处理对象和输出结果正好相反。计算机图形学试图从非图像形式的数据描述来生成图像；模式识别把图像抽象成用符号描述的类别。模式识别与图像分析有相同的输入，而不同的输出结果之间可以较方便的进行转换；计算机视觉用计算机去实现人的视觉功能。 数字图像的获取扫描，采样（空间分辨力），量化（灰度分辨力）采样：将空间上连续的图像变换
5、成点的操作。采样间隔分为均匀采样量化及非均匀采样量化；采样孔径的形状和大小与采样方式有关。量化：将像素灰度转换成的整数值的过程，最亮最暗差值尽可能大采样量化的原则：1.细节丰富的图像（观众）：高的采样分辨力 细采样，粗量化 2. 细节少，缓变的图像（人脸）：高的灰度分辨力 细量化，粗采样2.数字图像处理的基本概念2.1 BMP文件结构及文件操作程序2.2 人眼形成的图像 物体的色，减色效应与加色效应消色物体：加色效应 黑白灰 对照明光线有非选择性吸收的特性，即光线照射到消色物体上时，被吸收的各种波长的入射光是等量的；被反射或透射的光线，其光谱成分也与入射光的光谱成分相同。有色物体：减色效应。对
6、照明光线具有选择性吸收的特性，光线照射到有色物体上，入射光中各种波长的色光是不等量被吸收。白光照射到有色物体上，反射或透射光线不仅亮度有所减弱，光谱成分也改变，呈现各种颜色。绿物反射绿光，减去绿光，如在暗场对其用蓝光照射，吸收蓝光，黑色当有色光照射到消色物体，物体反射光与入射光颜色相同。两种以上有色光同时照射消色物体，物体颜色呈加色法效应。当有色光照射到有色物体上，物体的颜色呈减色法效应。如黄色物体在品红光照射下呈红色，在青色光照射下呈绿色，在蓝色光照射下呈现灰色或黑色。 红绿蓝黑黄品青 加色效应 减色效应 马赫效应与错觉从每一竖条反射出来的光强是均匀的，相信竖条之间强度差是常数，而看起来每一
7、竖条右边要比右边稍亮一点。亮度过冲是眼睛对不同空间频率产生不同视觉响应的结果。视觉系统对空间高频和空间低频的敏感性较差，对空间中频有较高的敏感性，这冲过问对人眼所见的景物有其轮廓的作用。 连续图像的描述灰度=照度*反射系数用f(x,y) 表示静止图像，因为光是能量的一种形式，故人眼看到的图像都是由物体反射的光组成。f(x,y)可被看成是两个分量组成：一分量是所见场景的入射光量，另一分量是场景中被物体反射的光量。i(x,y)表示照射分量，性质由光源确定；r(x,y)表示反射分量，由景物中物体的特性而定。有式中，反射分量在全吸收和全反射之间。2.3 图像数字化 图像的数字化过程：扫描、采样、量化
8、数字化与图像质量的关系采样间隔越大，所得图像像素数越少，图像空间分辨率低，质量差，严重时出现像素呈块状的国际棋盘效应；采样间隔越小，所得图像像素数越多，图像空间分辨率高，质量好，但数据量大。量化等级越多，所得图像层次越丰富，灰度分辨率越高，质量越好，但数据量大；量化等级越少，图像层次欠丰富，灰度分辨率低，质量变差，会出现假轮廓现象，但数据量小。极少情况下图像大小固定时，减少灰度级能改善质量，由于会提高图像对比度，如对细节比较丰富的复杂图像。采样量化的原则：1.细节丰富的图像（观众）：高的采样分辨力 细采样，粗量化 2. 细节少，缓变的图像（人脸）：高的灰度分辨力 细量化，粗采样 数字化采样量化
9、方法统一的采样和量化：随着采样分辨率和灰度级提高，主观质量也提高。对有大量细节的图像，质量对灰度级需求相应降低。（一般采用均匀采样和均匀量化）非统一的图像采样和量化：在灰度级变化尖锐的区域，用细采样（细量化），在灰度级比较平滑的区域，用粗采样（粗量化）。避免或减少由于量化的太粗糙，在灰度级变化比较平滑的区域出现假轮廓。 图像的表示：灰度表面、矩阵 图像的显示2.4 数字化设备 数字化过程：采样，量化 数字化器的主要参数像素大小：采样孔的大小和相邻两像素的距离是两个重要的性能参数；图像大小：图像的大小由像素数决定。物理参数：数字化器采集和量化的物理参数；线性度：对光强进行数字化时，应当知道灰度正
10、比于图像亮度的实际精确程度。噪声：系统中固有噪声会使图像的灰度发生变化 。 光传感器1） CCD CID CMOS特点2）CCD相机参数：感光元件大小、放大倍率、解析度、像素数、F数、景深；2.5 光源的种类 及照明形式光源的种类：卤素灯；高周波荧光灯；LED灯源；金属灯泡或氖灯；激光光源；氙素灯。照明形式：前照式（正向光源）（表面反射光）；背照式（背向光源）（工件遮光处不透光），侧照式（侧向光源）（轮廓边缘光反射最大）。2.6 灰度直方图（定义、性质、作用）定义：是灰度级的函数，描述的是具有该灰度级的像素个数（或出现的频次）图像各灰度级在图像中出现的频次 （统计角度）性质：1灰度直方图只与像
11、素灰度有关，与位置无关(没有位置信息) 2 灰度直方图与图对应关系： 一对多的关系 3.灰度图像具有相加性（两区域灰度直方图之和等于图像灰度直方图）作用：1. 判断图像量化是否可理 2. 利用阈值实现图像分割（用于确定图像二值化阈值） 3.计算图像对像（目标）大小（当物体部分的灰度值比其他部分灰度值大时，可统计图像中物体的面积） 4. 计算图像的熵 熵：图像信息量的反映，反映了图像信息丰富的程度。2.7 图像处理算法形式基本功能形式：按图像处理输出形式1. 单幅图像单幅图像2. 多幅图像单幅图像3. 单（或多）幅图像数字或符号等（图像统计量或特征量的测量、编码表示 特征提取图像描述图像）基本运
12、算形式：点运算（点处理）：输出值仅与输入像素灰度有关的处理，如图像对比度增强、图像二值化。（点对点）局部运算：计算某一输出像素值由输入图像像素小领域中的像素值确定，如移动平均平滑法，空间域锐化。全局运算：输出像素的值取决于输入图像较大围或整幅图像像素的值。如傅立叶变换2.8 图像的数据结构（组合式、比特面、分层、树）1.组合方式：最常用的方式，一个像素的灰度按固定的字长表示，数据排列按像素位置排列。2.比特面方式：图像像素（M*N）灰度以固定字长（nbit）,建立n个bit面，每个面有M*N个位，对于同一个像素，其n位数据分别占据n个比特面该像素的位置。优点：节省存储空间。缺点：使数据处理复杂
13、化。位面：最高位信息最重要，为图像轮廓，低位图包含信息细节。3.分层方式：由原始图像依次构成像素数越来越少的系列图像，就能使图像数据表示具有分层性，其代表就是锥形（金字塔）结构。4.树结构：对一幅二值图像的行、列都接连不断二等分，如果被分割部分的图像中全体都变成具有相同的特征时，这一部分不再分割。可用在特征提取和信息压缩方面。(多分辨分析，由粗到精)题目：1. 选用1/2英寸的CCD，若以光学放大倍率为1倍时，其真实视野围是多少？2. 7mm*7mm的CCD芯片，有1024*1024个像元，将0.5m 远的物体成像其上，摄像机的物体解析度？（配置35mm焦距镜头）主要放大倍率： 35/500摄
14、像机解析度：512/7 线对/每单位长度物体解析度：主要放大倍率*摄像机解析度 35/500 * 512/7= 512 ep/mm3. 有一幅在灰度背景下的黑白足球图像，直方图数据如下：【0 520 920 490 30 40 5910 24040 6050 80 20 80 440 960 420 0】足球直径为230mm，像素间距代表多少mm?3. 图像空域增强3.4 点运算的应用 直方图均衡化：点运算形式及均衡化计算方法 特点：1. 不利于灰度渐变（平滑）图像。2 .第二次均衡化的结果与第一次相同。直方图均衡的实质是减少图像的灰度等级换取对比度的扩大。 直方图匹配：点运算形式及匹配计算方
15、法 代数和与灰度直方图的关系HAB联合灰度直方图A,B互不相关时， 局部增强 在局部区域完成均衡化、规定化串行增强算法1、设定邻域大小，（如7*7）； 2、计算该邻域直方图，利用均衡化或规定化，获得映射关系； 3、利用映射关系，将该邻域中心点进行处理，更新原图数据4、中心位置移动到下一像素，重复上述过程。新值被利用 概念：模板（掩模）和窗口 窗口：矩形区域模板：任意形状的区域算术加减运算与逻辑运算？加法：或运算减法：异或运算3.5 代数运算 代数和的应用均值去噪多幅图像平均法是对获取的同一景物的多幅图像相加取平均来消除噪声。设理想图像 f(x,y)所受到的噪声n(x,y)为加性噪声，而产生的有
16、噪图像g(x,y)可表示为：若图像噪声是互不相关的加性噪声且均值为0，则其中是g(x,y)的期望值。对M幅有噪声的图像经平均后得到其估值误差为：和是在n在点（x,y）处的方差。可见对M幅图像取平均可把噪声方差减小到1/M.当M增大时将更加接近f(x,y)。 在各个位置上像素值的噪声变化率将减小。均值：反映图像的噪声的减小方差（标准差）减小，对比度减小，整个差值图像的差别减小，原图像与去噪后图像差别趋于一致（噪声减小） 代数差与代数和的关系 代数差的应用1. 利用差图像可以获得运动目标，同时可利用差图像获得导数图像的灰度直方图；2. 利用差图像可增强图像3. 利用代数差可由含噪图像估计去噪图像的
17、目标综合光密度（IOD） 代数和降噪的理由（采用功率信噪比）3.6 空间滤波器 二维离散卷积若大小为m1n1, g为m2n2,扩展f和g, M=m1+m2+1, N=n1+n2+1边缘的处理方法：1）通过重复图像边缘上行和列，对图像扩充；2）卷绕图像，即假设第一列紧接着最后一列3）在输入图像外部填充常数；）去掉不能计算的行和列，仅对可计算的像素卷积 均值滤波模板（窗口长度小于信号周期）大于等于信号会滤掉信号必须保证全部权系数之和为1，这样可保证输出图像灰度值在许可围，不会产生灰度“溢出”现象。 中值滤波模板（2n+1长度窗口单调，可保留；若窗口趋势变化，则至少保持n+1个才可不被滤掉）非线性滤
18、波器，长度必须是奇数，属于并行算法，不必保证全部权系数之和为1窗口长度，若一维情况下，窗口长度为2n+1，且输入序列在窗口单调增或减，则信号可保持。如果序列中趋势改变，则至少需要在n+1个样本上连续保持同一值的过渡。中值滤波后，信号频谱基本不变。注意：均值与中值处理噪声类型不同均值：均值为0的随机噪声中值：去掉脉冲（椒盐）噪声，并能很好的保持边缘特征。 彩色图像处理概念：色度图？亮度用以区别颜色的特性是亮度、色调和饱和度。亮度和色调一起称为彩色。亮度包含无色的强度的概念。色调是光波混合中与主波长有关的属性，色调表示观察者接收的主要颜色。饱和度与所加白光数量成反比。 彩色模型意义、应用RGB模型
19、 显示模型，表面颜色是安全色CMY（青、深红、黄）模型， 主要用于打印设备、印刷HIS（色调、饱和度、亮度）模型，用于图像处理以黑到白为轴，表示彩色的亮度I，I轴与颜色点组成的面就是色调，交线长度为饱和度。RGB模型、CMY模型、HIS模型相互转换HIS强度分量 彩色图像增强伪彩色增强：人眼对色彩的分辨能力强对于灰度图像增强 真彩色增强：对彩色图像增强 全彩色图像增强的要求1）保持色调不变2） 更宽松的条件：保持图像结构不变。注：1）处理必须对向量和标量都可用；如对数映射，对向量取对数和分别对各分量取对数是一样的效果；若满足该条件可以使用RGB模型 2）若对向量的某一分量操作，该分量对于其他分
20、量必须是独立的。题目：1. 对下图进行直方图均衡化。2.中值滤波12143122345768456783567814. 数字图像变换 数字图像成像系统是一线性系统，因此可从这个角度对图像进行分析和处理。线性位移不变系统 ：齐次，叠加，移不变性，自相关。系统的输出仅和输入函数形态有关，而和作用起点无关。1. 线性移不变系统，对于调谐信号响应等于输入信号乘以一个依赖于频率的复数2. 实值函数输入产生实值输出。3. 输入调谐信号总产生同频率的调谐信号4. 传函对输入的影响是只改变幅值和相位。 卷积运算（两种计算方法） 图像傅立叶变换的性质乘以(-1)x+y的原因？还原图像先反变换，再乘以(-1)x+
21、y线性系统只改变信号的幅值和相位，不改变频率相位：位置信息幅值：能量 谱的概念、自相关计算与能量谱的关系 图像中自卷积、自相关的区别能量谱、幅值谱、相位谱的概念 快速傅立叶变换 正交变换酉阵定义：T-1=(T*)t性质：可分离性、去相关性由于二维离散傅里叶变换具有可分离性，即它可由两次一维离散傅里叶变换计算得到，二维DFT变换利用分离性，用两次一维变换来实现，即先对f(x,y)的每一行进行一维变换得到F(x,v),再沿F(x,v)每一列取一维变换得到变换结果F(u,v)。可将图像的能量重新分配。沃尔什/哈达玛变换及逆变换沃尔什变换： 哈达玛变换是对称的、可分离的酉变换，它的核矩阵中只有+1和-
22、1元素，它要求N=2n,其中n是整数对于22的情况，核矩阵为： 1、构造难易不同； 2、均是正交的方波型； 3、均是可逆运算。快速哈达玛变换、沃尔什变换 频域增强滤波器在空域与频域的对应关系1.滤波在频域更直观，对于小模板在空间域穿成滤波2.频域相当于一个实验室，一旦通过频域试验选择，可用空间哉进行滤波高频增强高频提升过滤：高通滤波器除去了傅里叶变换的低频成分和零频成分，图像平均强度减小，采用拉普拉斯算子处理后的图像与原图像相加可以达到增强的作用。这种作用称作高频提升过滤。钝化模板：从一幅图像中减去自身模糊图像，即减去低通滤波后的图像而生成的锐化图像。高频提升：相当于加强边缘，相应地，在频域中
23、可表示为： 高通滤波器高频提升滤波器高频加强：高频成分强调图像。在这种情况下，高通滤波函数前乘以一个常数，再加上一个偏移，使零频率不被滤除掉。 a=A-1 且 b=1,即为高频提升， b1称作高频加强同态滤波同态滤波：（是一种将图像亮度围压缩和对比度增强的频域方法）图像灰度由照射分量和反射分量合成，反射分量反映图像的容，随图像细节的不同在空间上坐快速的变化，在不同物体交为界处急剧变化。照射分量在空间上通常均具有缓慢变化的性质。所以图像对数的傅立叶变换中的低频部分主要对应照度分量，而高频主要对应反射分量。找到一种滤波器，减少照射分量的贡献，增加反射分量的贡献，那么图像会得到增强。低频区减弱，高频
24、区加强，减少低频的贡献，加强高频的贡献，亦即达到频域动态围压缩，空域对比度加强的效果。图像f(x,y)可表示为照度分量i(x,y)和反射分量r(x,y)的乘积.1) 两边同时取对数得2) 两边进行傅立叶变换3) 用一个频域函数H(u,v)处理F(u,v) 4) 傅立叶逆变换到空间域得： 增强后图像是由对应照度分量与反射分量两部分叠加而成。5) 进行指数运算H(u,v)为同态滤波函数，分别作用于照度分量和反射分量上。5. 图像复原 图像复原与图像增强的区别图像增强：不考虑图像是如何退化的，只通过试探各种技术来增强图像的视觉效果，所以图像增强可以不顾增强后的图像是否失真，只要看的舒服就行。（是主观
25、的过程， 为主观认知而进行的）图像复原：需要知道图像退化的机制和过程的先验知识，据此找到一种相应的逆过程的方法，从而得到复原的图像。如果图像已退化，应先作复原处理，再作增强处理。（是相对客观的过程，把退化模型化，并按照相反的进程进行）1. 需要了解图像的退化过程。2. 以保真度为原则进行复原。 图像复原的评价 保真度主观保真度及客观保真度准则如果将看作是原图像f(x,y)和噪声信号e(x,y)的和，原图像和解码图象之间的 均方根误差：均方根信噪比：峰值信噪比： 几何复原：平移、倒置、旋转 显示（文件）坐标系，旋转坐标系灰度插值 双线性变换最邻近插值（零阶插值）令输出像素灰度值等于离它所映射到位
26、置最近的输入像素的灰度值，如果有微细结构变化时，会产生锯齿边双线性插值（一阶插值）一阶插值更准确，但运行时间比零阶长。若利用平面方程是过约束方法。 坐标插值 f(x,y)1/f(x,y)n(x,y)s(x,y)g(x,y)代数复原无约束复原假设退化过程无噪声干扰。退化模型中的噪声为n=g-sf,对n不知时，寻找一个使在最小二乘意义上近似g, 使噪声项的数尽可能小，也就是最小。求准则函数关于最小问题。令 可得若H(u,v)有零值，则H为奇异的，矩阵不存在，会导致恢复问题的病态性和奇异性。有约束复原为消除病态，准则改为： Q为拉格朗日系数，J为目标函数，r为倒数。求偏导得复原后能量接近，但不完全一
27、样。1.当Q=I时。恢复后的信号中含噪声能量最小，在复原同时起到抑制噪声的作用。滤波前后信号能量保持不变。2. 平滑约束，图像是最平滑图像，Q为拉普拉斯算子。3.均方误差最小滤波（最小均方差维纳滤波）统计平均意义上，复原方法适于一族图像。 维纳滤波器的构造原则及维纳去卷积以均方差作为平均误差的度量，选取最小均方误差作为最优准则 ；构造时，没有考虑优化；然后进行逆滤波。维纳滤波更强调噪声的抑制，而不是重构信号。在信号与噪声无关时的形式 匹配监测器及与维纳滤波器的关系 噪声的估计 退化模型的估计观察估计实验估计模型估计运动图像的建模题目1. 图像围绕(120,210)反时针旋转60度，求其几何变换
28、式 围绕（x0,y0）进行旋转的复合方法： 2. 令F(109,775)=113,F(109,776)=109, F(110,775)=105,F(110,776)=103。问F(109.27,775.44)=?1)用最临近插值法，2）双线性插值法，各系数的值3. 假设当前图像只在x方向以给定位置x0(t)=at/T，当t=T时，图像总距离为a6. 图像压缩与编码 图像压缩的可能性及冗余种类图像冗余：像素间冗余（自相关系数）、视觉冗余、时序冗余、编码冗余。（心理冗余）编码冗余：以8比特数据来存储黑白图像。像素冗余：动态图像中，背景不变。背景为时序冗余。视觉冗余： 图像保真度保真度：解码图像相对
29、原始图像偏离程度的测度，分为客观保真度准则和主观保真度准则。如果将看作是原图像f(x,y)和噪声信号e(x,y)的和，原图像和解码图象之间的 均方根误差：均方根信噪比：峰值信噪比： 图像冗余度、编码效率和熵 平均码长： 冗余度 编码效率： 熵： 可用作描述某事件不确定度。信息量越大，体系规则越完备，功能越完善。某个事件的信息量，信息量Iron概率平均值叫熵。熵是信息量的度量，它表示某一事件出现的消息越多，事件发生的可能性越小，数学上就是概率小，越混乱，包含信息量越大。图像信息越丰富，熵越大。若对原始图像数据的信息进行信源的无失真图像编码，压缩后平均码率B，其下限是信息熵H。高效编码是尽量使码长接近于H。信源熵：是平稳信源的无损压缩效率极限 霍夫曼编码（无损压缩）思想：在源数据中出现概率越大的信号，分配的码字越短；反之，其码字越长步骤：1、把输入元素按其出现概率由大到小排列起来，然后把最末两位最小概率的元素之概率加起来；2、把概率之和同其余概率由大到小排列，然后再把两个最小概率加起来，再重新排队；3、重复2，直到最后只剩下两个概率为止 Hufman 编码的特点：1、霍夫曼编码构造出来的编码值不是唯一的，由于0和1分配是人为的2、当图像灰度值分布很不均匀时，霍夫曼编码的效率就高3、缺点： 1）缺乏构造性，不能在信源符号与编码之间建立对应关
