图像融合算法研究毕业论文.docx
- 文档编号:15820306
- 上传时间:2023-07-08
- 格式:DOCX
- 页数:34
- 大小:1.46MB
图像融合算法研究毕业论文.docx
《图像融合算法研究毕业论文.docx》由会员分享,可在线阅读,更多相关《图像融合算法研究毕业论文.docx(34页珍藏版)》请在冰点文库上搜索。
图像融合算法研究毕业论文
本科学生毕业论文
论文题目:
图像融合算法研究
学院:
电子工程学院
年级:
2010级
专业:
电子信息工程
姓名:
学号:
指导教师:
杜宝祥
2014年5月10日
摘要
对多元图像信息进行的一系列提取与合成,统称为图像融合。
通过对多元图像信息的提取与合成,从而获得对同一目标的更为准确、更为全面、更为可靠的图像描述。
研究者可以得到包含多种情况下,不同条件下、不同环境下、不同模式下、不同观察角度下,对同一目标的综合特征描述的图像。
图像融合通常可分为像素级融合、特征级融合以及决策级融合三个层次。
本文首先介绍了图像融合的大概、国内外研究现状、面临的问题以及本文的主要工作。
接着重点论述了图像融合的三个层次以及像素级图像融合的几种常用方法,并通过matlab仿真,比较加权平均法、主成分分析(PCA)法、IHS融合法以及小波变换法的融合效果。
关键词
图像融合;主成分分析(PCA);IHS;小波变换
Abstract
Toaseriesofmultipleimageinformationextractionandsynthesis,collectivelyknownasimagefusion.Basedonmultipleimageinformationextractionandsynthesis,therebygainingthesametargetismoreaccurate,morecomprehensive,morereliableimagedescription.Theresearcherscangetcontainsavarietyofsituations,differentconditions,differentenvironment,differentmode,differentobservationangles,thecomprehensivedescriptionoftheimageonthesametarget.Imagefusionisusuallydividedintopixellevelfusion,featurelevelfusionanddecisionlevelfusionthreelevels.
Thispaperfirstintroducesthepurposeofimagefusion,domesticandforeignresearchpresentsituation,problemsandthemainworkofthisarticle.Thenmainlydiscussesthethreelevelsofimagefusion,andseveralcommonlyusedmethodsofimagefusionatpixellevel,andthroughmatlabsimulation,comparingtheweightedaveragemethod,principalcomponentanalysis(PCA)method,IHSfusionmethodandwavelettransformfusioneffect.
Keywords
Imagefusion;principlecomponentsanalysis(PCA);Intensity-Hude-Saturation(IHS);wavelettransform
第一章前言
1.1概述
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理与计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度与可靠性、提升原始图像的空间分辨率与光谱分辨率,利于监测[]。
本文重点论述了图像融合的三个层次以及像素级图像融合的几种常用方法,并通过matlab仿真,比较加权平均法、主成分分析(PCA)法、IHS融合法以及小波变换法的融合效果。
1.2国际研究现状
近二十年,图像融合技术在航天、军事、遥感、医学等各个领域都取得了很大的应用,发挥的作用也越来越大,能夠融合的图像种类也越来越多。
美国,作为世界上的超级大国,在图像融合领域也是起步最早,发展最快的国家[]。
在二十世纪七十年代初期,由美国国防部出资,麻省理工大学协助开发的声纳信号处理系统中,融合技术得到了最早的应用[]。
后来的八十年代以来,美国军部一直对信息融合技术、图像融合技术给予高度的重视,自美国国防部在海湾战争中体会到该技术的巨大应用潜力,以后逐年加大投资力度,建立了关于数据融合的军用系统[]。
在国际图像融合领域上,除了美国,英、法等发达国家前期也有了较大的投入,在算法融合、实际应用融合系统上也处于领先的地位。
1.3国内研究现状
多传感器图像信息融合技术是正在蓬勃兴起的一门学科,应用的前景十分广泛。
目前,图像融合的研究重点在于:
在尽可能的提高融合后图像的空间分辨率的同时,保持原始图像的特征,从而使其后续分析理解的有效性能够得到保证[]。
此外,序列图像与视频信息的融合问题,也是一个非常有意义的研究课题。
在融合技术中,关于像素级融合方法的文献较多,而介绍特征级与决策级融合方法的文献相对较少,这也是融合技术的又一个重要研究领域。
而在许多实际应用中,要实时的进行并完成像素级的融合处理工作是.相当困难的,于是,进行决策级与特征级图像信息融合的实时处理就成了主要的选择。
目前,目标自动识别与图像理解是特征级与决策级图像信息融合技术中的难点问题。
在我国,图像融合理论近几年成为研究热点,西工大、国防科技大、北理工、西电、华科等高校在图像融合理论与应用系统的研究方面也都做了很多工作,但与国际先进水平相比,仍然有很大的差距。
1.4图像融合技术发展历程
传统的图像融合方法,都是基于彩色空间变换融合法实现的,譬如本文将介绍的IHS变换法、主成分析法等[]。
传统图像融合方法都没有对源图像进行分解变换,属于比较简单的图像融合方法。
直到八十年代中期,科学家们提出了金字塔法,即基于基于金字塔分解图像融合方法,包括拉普拉斯金字塔、梯度金字塔、对比度金字塔等。
也从此开始讲这一技术应用到一般的图像处理中。
可是,由于层与层之间存在分解量的相关性,导致了融合的效果并不十分理想[]。
直到九十年代,随着小波变换理论的广泛应用,小波变换也成为图像融合技术方面新的工具。
这也促进了图像融合技术的研究呈现上升的趋势。
目前,在小波变换域中进行图像融合的方法有基于极大值,局部能量,局部方差等融合算子。
这些特点使得图像融合在遥感、医学、计算机视觉、气象预报、军事目标检测与识别等方面的应用潜力得到了认可。
多源图像融合作为多源信息融合的一个具体的研究领域,具有信息融合特点的同时,也具有一些自己的特点[]。
如多源图像融合输入数据是图像,因而对图像配准等预处理有更严格的要求。
而且考虑到图像融合的目的以及图像融合的优势,对于图像融合算法实现必须满足两个要求。
一方面,图像融合算法应使得融合后图像包含原图像中所具有的重要信息;另外一方面,图像融合算法不应引入任何误导人类视觉感知或图像处理的错误信息。
然而,由一维度小波变换张成的二维度可分离小波只具有有限的方向,无法做到最优表示含有线或面的奇异高维函数。
这种“尴尬”直到2002年DoM.N与VerrtliM提出的Contourlet变换才逐渐被打破。
Contourlet变换是一种二维图像的稀疏表示方法,它不单具备小波变换多分变率时频分析特征,还拥有优越的各向异性特征,当用它来表示一条光滑的曲线时,需要用到的系数比小波变换更少就可以抓住图像的几何结构。
2006年,ArthurL.Cunha等科学家在Contourlet变换的基础上,提出了NSCT变换,与之前的Contourlet变换相比,NSCT变换具有多尺度、良好的频域、空域方向特性、局部特性以及平移不变特性[]。
在NSCT的基础上,基于多分辨率的图像融合技术得到了更为广泛的应用与发展。
图像融合涉及信息融合、图像处理等多个领域,是一个较年轻的研究方向。
经过近二十多年的发展,众多研究者的不懈努力,图像融合在算法研究方面取得了一些成果,在军事、医学、遥感以及机器人等领域内也得到了广泛的应用;但随着研究的深入,仍面临许多问题,需要进一步深入研究解决。
这些问题包括:
1.与目前各种图像融合算法快速发展的情况不相适应,缺乏系统的、完善的并被广泛认可的评价手段衡量各种融合算法的优劣。
实际应用中,由于理想的融合图像并不存在,很难对融合结果进行客观的定量评价。
性能评价问题一直是图像融合领域的难点,但一直未受太多的关注。
性能评价对融合算法的选择、改进、算法参数的优化均具有非常重要的作用,有待于进一步的深入探讨与完善[]。
2.多尺度融合方案中的融合规则是除多尺度分解方法以外另一个重要环节,本论文并未在这一点上展开,而是延用了已有成熟的融合规则。
目前融合规则的研究进展缓慢;尽管有学者已经提出了更加复杂的基于区域的融合规则,但是受到区域分割技术的限制,基于区域的融合规则还很难应用于实际。
在多尺度融合方案下,发展智能高效的融合规则是今后一个值得研究的方向。
1.5本文的主要内容
本文围绕图像融合展开研究,首先介绍了国内外研究现状、图像融合发展历程俩个方面的基本情况。
重点研究了几种像素级别图像融合的常用方法,其中包括加权平均法、主成分分析法(PCA法)、IHS变换法以及小波变换法。
本文对上述四种图像融合算法进行理论分析,在matlab下对四种算法进行仿真实验分别得出四种不同方法下的融合图像,对比四种方法的融合图像、标准参数进行衡量。
第二章图像融合理论
图像融合是多传感器信息融合中可视信息的融合。
它是对多个传感器采集到的关于同一场景或目标的图像进行适当的融合处理,获得一幅融合后图像,使之更适合视觉感知或计算机处理。
它是一门综合了传感器、信号处理、图像处理与人工智能等的新兴技术。
一般多源图像融合的处理流程主要有:
图像预处理、图像配准、图像融合、特征提升取以及识别与决策。
依据融合在处理流程中所处的阶段,按信息抽象的程度,多源图像融合一般可分为三个层次:
像素级融合、特征级融合与决策级融合[]。
本章主要内容:
本章节先介绍了图像融合的三个层次,然后简单介绍了图像融合的规则。
重点论述了图像融合的三个层次以及像素级图像融合的几种常用方法,从理论角度出发,讨论加权平均法、主成分分析(PCA)法、IHS融合法以及小波变换法各自的特点。
2.1图像融合的三个层次
图像融合是指将多源信道所采集到的关于同一目标的图像数据经过图像处理与计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度与可靠性、提升原始图像的空间分辨率与光谱分辨率,利于监测。
根据图像融合所处的不同阶段,图像通常可在三个层次上进行融合:
像素级融合、特征级融合、决策级融合。
然而,多源图像信息融合的复杂形式也出现在不同的信息层次上。
像素级融合:
基于像素级的图像融合。
是指针对多源图像对于同一目标场景、同一目标事物进行的同一灰度级的综合处理。
图像融合后所生成的新图像将包含原图像中,所有像素点所包含的信息。
像素级融合过程如图2-1所示。
图2-1像素级图像融合
正如图2-1所示,通常在进行像素级融合之前,要对源图像预处理并且展开图像匹配。
这么做的主要目的是为了提高源图像融合的精度以及融合的可靠性。
因为每一幅源图像均可能来自不同的时间背景及空间背景,各幅源图像均包含了各种不同的,目标图像所需要的多方面信息。
通过像素级别的图像融合,丰富了图像的信息,在细节方面提供的信息要优于特征级图像融合与决策级图像融合[]。
像素级图像融合能得到更丰富的可靠的图像,有利于进一步的分析、处理、理解,更方便的提供最优决策与性能辨别。
特征级图像融合:
利用原始图像中提供的特征信息进行综合分析处理。
特征级融合图像具体流程如图2-2所示。
如图2-2所示,特征级图像融合从源图像提取局部特征进行融合综合分析处理后获得复合特征。
特征级图像融合为图像纹理、边缘、焦点、相似区域等。
要在俩幅源图像中找到目标的差异,对目标进行特征提取,然后对目标进行对比分析,最后进行识别与决策。
图2-2特征级图像融合
决策级图像融合:
对每个图像源分别进行预处理、特征提取、识别与判断,如图2-3所示。
图2-3决策级图像融合
如图2-3所示,决策级图像融合首先对目标作出初级的判断与结论,然后对各阶段的决策进行相关处理,最后进行联合判断。
决策级图像融合是针对具体的决策目标,充分有效的利用各自不同的图像源的初级决策[]。
在预处理阶段对图像源的配准要求不高,可以不用考虑。
决策级图像融合主要包括表决法、贝叶斯推理、推广的证据处理理论、模糊集法等。
根据已有的数据证明,像素级图像融合在预处理、信息量、信息缺失分类性等多方面性能最优。
而另外俩种图像融合方法融合性能一般。
像素级图像融合也是最基础的图像融合方法。
故此,本文的研究重点为像素级图像融合。
2.2图像融合规则
图像的融合规则是指图像融合概念的核心,融合规则的结果将会直接影响融合图像的效果。
外国科学家Burt先生曾提出了过基于像素选取的融合规,是指将原图像分解成不同分辨率图像,以此为基础选取最大绝对值的像素系数作为融合后的像素值系数。
在不同分辨率图像中都有涉及,通常具有最大值的像素系数也包含更多的图像信息。
另外俩名科学家Petrovic与Xydeas却提出了根据分解层内各图像源及分解层间的具备相关性的像素进行选取融合的规则。
蒲恬先生在应用小波变换进行图像融合时,通过观察人类视觉系统对局部布局对比度敏感度的特性,选择采用基于对比度不同的像素选取融合的融合规则[]。
基于像素级别的图像融合选取仅是以最小单位,单个像素点作为融合对象的,这种融合方法并未考虑到图像相邻像素点间的相关特性,故此,融合效果并不是十分理想。
考虑图像相邻像素单位之间的相关特性,Burt先生以及Kolczynski先生曾提出过基于区域特性来选择的加权平均融合规则,将像素系数进行融合并选取与其所在的局部区域相互联系。
在科学家Lietal提出的图像融合规则中,选取窗口区域中较大的像素值系数作为融合后像素值系数的同时,还应该考虑窗口区域像素系数的相关特性。
对此,Chibani与Houacine在融合规则中通过计算源图像对应窗口区域里的像素绝对值,相比之下较大个数的进行融合,决定融合像素点的选取。
基于窗口区域的融合规则又因为需要考虑相邻像素的相关特性,故此减少了融合像素点的错误选取。
融合效果明显有了较大的提高。
科学家ZZhang与科学家Blum也曾提出过基于区域的融合规则,即将源图像中的每个像素点都看作区域或边缘的一部分,并利用区域与边界的源图像信息来指导融合选取。
采用这类图像融合规则所得到的融合图像融合的效果比较好,然而,此规相对其他图像融合的规则要更为复杂。
对于稍微复杂的图像,此规则明显不易于实现。
第三章像素级图像融合的常用方法
3.1加权平均法
加权平均法是指:
利用以往若干个按照发生时间顺序排列的同一目标的观测值并以时间顺序数为权数,计算出观测值的加权平均值,以这一数值作为最终结果进行图像融合的方法。
加权平均法的计算公式如3-1式所示:
(3-1)
其中:
m表示图像中像素的行号1,2,3.....M
n表示图像中像素的列号1,2,3......N
表示加权系数
在像素级图像融合方向,加权平均方法是将源图像对应的像素级灰度值做加权平均,从而获得新的图像,它是最为直接的一种图像融合方法。
其中,平均方法就是加权平均的特别之处[]。
使用平均方法进行像素级图像融合,虽然提高了融合图像的信噪比,然而却减弱图像的对比程度,尤其针对一些仅出现在其中一幅源图像上的实用信息载体信号。
3.2主成分分析法(PCA法)
从多元数据统计分析中,主成分分析(英文全称:
Principalcomponentsanalysis,PCA)是一种分析并且能够简化数据集合的技术。
主成分分析法(PCA法)经常用来减少数据集的维数,同时保持源数据中对方差的贡献大的特征部分。
这是通过保留低阶主成分,且忽略高阶成分来实现的[]。
这样低阶成分往往能够保留住数据的最重要方面。
但是,这也不是一定的,要视具体应用而定。
由于主成分分析依赖所给数据,所以数据的准确性对分析结果影响很大。
主成分分析法也就是PCA法最早是由科学家卡尔·皮尔逊先生在1901年发明的,起初这种方法被用于分析数据并建立数理原始模型。
其方法主要是通过对协方差矩阵进行特征分解,以得出数据的主要成分(特征向量)与它们的权(特征值)。
主成分分析法是最简单的以特征量来分析多元统计分布的方法。
其结果可以理解为对原始数据中的方差进行合理解释:
在哪一方面对方差影响最为严重。
也就是说,主成分分析法提供了一种可以降低数据维度的高效方法;如果分析者在原始数据中除掉最小的特征值中对应的成分,那么所得到的低维度数据无疑是最优化,这样降低维度也是失去讯息最少的一种方法。
主成分分析法在分析复杂数据之处显得尤为有用,比如我们整篇探讨的图像融合技术领域。
主成分分析法是一种以特征量来分析多元数据统计分布的方法。
一般情况下,这类运算可以被看作是揭露数据的内部结构,从而更完整的解释数据变量的一种方法。
如果一个多元数据集能够在一个高维数据空间坐标系中被显现出来,那么主成分分析法就可以提供一幅相对低维度的图像,这幅图像可以看做是讯息最多的像素点上原图像的一个‘投影’。
如此,利用少量的主成分来使数据的维度降低。
主成分分析法跟因子分析有关,已经有了多个混合这两二者分析的统计包。
而真实要素分析则是假定底层结构的,导出微小差异矩阵的特征向量。
在图像融合技术领域中,主成分分析法(PCA法)首先需要三个或三个以上的波段数据来计算得出图像之间的相关系数矩阵,再由计算得出的相关系数矩阵来计算得出特征值与特征向量,之后再计算出各主分量图像,再将高空间分辨率图像数据进行对比度拉伸,使其与第一主分量图像的数据具备相同的平均值与方差。
最后,再用经过拉伸的高空间分辨率图像来替代第一主分量,使它与其他的主分量经PCA法逆变换导出融合图像。
主成分分析法图像融合的优点是适用于多光谱图像的任何波段,其不足之处则是在PCA融合算法中只用高分辨率图像来替换低分辨率图像的第一主要成分,国语简单,故此,会损失低分辨率图像第一主成分中的某些反映光谱特性的信息,使得融合图像的光谱畸变严重[]。
按着统计的思路,不去考虑图像各个波段的特点是PCA融合算法最为致命的缺点。
主成分变换的变换公式如3-2式所示:
(3-2)
其中:
X:
待变换图像的数据矩阵
Y:
变换后图像的数据矩阵
T:
变换矩阵
主成分分析法的主要步骤:
1.配准各幅参加融合的源图像
2.计算源图像的特征值及特征向量
3.按大小对特征值进行排序,相应的特征向量页跟着一同变动,记录最终的结果为:
4.分量主量按式3-3计算
(3-3)
5.将全色图像与第一主分量图像进行直方图匹配,然后将第一分量用全色图像替换。
6.做逆主分量变换,得到融合图像。
PCA变换融合法的主要优点是:
融合后的图像光谱特性保持良好,这一优点在多波段时尤为突出。
缺点是:
计算量大,实时性差。
3.3基于IHS变换的图像融合方法
基于IHS变换法进行图像融合的一般步骤,如下:
假设TM为原始的多光谱源图像,PAN为高空间分辨率图像。
将TM的三个波段赋值RGB后进行RGB—IHS变换,可以得到分量以及两个中间量V1、V2如式3-4所示:
(3-4)
其中V1、V2可看作是笛卡儿坐标系下的横轴与纵轴,z轴表示的则是亮度I,那么色度H与饱与度S分别可以被表示为式3-5与3-6
H=arctan(v2/v1)(3-5)
(3-6)
用PAN替代I分量得到新的I分量I_new,即I_new=PAN,然后进行HIS-RGB变换。
得到融合后的多光谱图像这样获得的图像既有较高的空间分辨率,又有与原图像相同的
色度与饱与度。
高分辨率全色影像与多光谱影像融合时,先把多光谱影像利用IHS变换从RGB系统变换至IHS空间,同时将单波段的高分辨率图像经过灰度拉伸,使其灰度的均值与方差与IHS空间中亮度分量图像一致;然后将拉伸后的高分辨率图像作为新的亮度分量代入到IHS,经过反变换还原到原始空间[]。
这样获得的图像既有高的空间分辨率,又有与原图像相同的色度与饱与度。
传统的基于IHS变换的图像融合方法可以很大程度的提高图像融合在空间上的分辨率,但是,传统的方法也存在着光谱畸变现象。
IHS变换可以做到增强图像的地物纹理特性,提高图像空间细节的变现能量。
然而由于在变换过程中,分量I被高分辨率的全色图像所取代了,故此,IHS变换的结果将会产生比较大的光谱失真,图像融合后精度不高。
也正是因为上诉的原因,在实际的生产应用的范围中,传统的基于IHS变换图像融合方法所应用的范围其实很受限制,实际的应用主要使用的是一些改进过的IHS变换融合方法。
3.4基于小波变换的图像融合方法
在图像融合技术领域,基于小波变换的图像融合方法早已经成为图像融合研究的一个大热点,这类算法是利用眼睛对局部对比度的变化敏感,再以一定的融合规则为基础,从多幅源图像里选择出最明显的特征,譬如边缘、线段等。
并将这些特征保留在最终的融合结果中,在一幅图像的小波变换中,绝对值较大的小波系数对应于边缘这些较为显著的特征,所以大部分基于小波变换的图像融合算法主要研究如何选择合成图像中的小波系数,也就是三个方向上的高频系数从而达到保留图像边缘的目的[]。
虽然小波系数(高频系数)的选择对于保留图像的边缘等特征具有非常主要的作用,但尺度系数(低频系数)决定了图像的轮廓,故此,正确的尺度系数对基于小波融合图像的视觉效果具有十分重要的作用。
第四章MATLAB仿真
本章主要内容:
通过对加权平均法、主成分析(PCA)法、IHS变换法、小波变换法四种主要像素级图像融合方法的理论与算法进行分析研究,再利用matlab编写上述算法的实现程序,从而具体的分析对比四种算法的各自优缺点。
matlab实现的四种算法详见本文的附录部分。
4.1MATLAB仿真结果
在此次仿真实验中,以我校正门的照片作为源图像如图a,为了对比四种算法的融合效果,我们将源图像的左侧与右侧分别做模糊处理,如图4-1所示。
(c)左侧聚焦
图4-1聚焦图像生成图
在实验过程中,我们将右侧聚焦的图像与左侧聚焦的图像作为源图像信息输入,分别使用加权平均法、主成分分析法(PCA法)、IHS变换法以及小波变换法,运用matlab进行仿真,得到上诉四种方法的融合结果。
如图4-2所示。
(a)加权平均法融合之后的效果(b)PCA法融合之后的效果
(c)IHS变换融合之后的结果(d)小波变换融合之后的结果
图4-2四种方法融合之后的结果
从以上几组图片中可以看出,小波变换的融合效果是最好的。
可以直观的看出,基于小波变换的融合方法得出的结果,左边与右边都很清晰,而其他三种融合方法所得出的结果都有不同程度上的模糊。
主成分分析法(PCA法)与IHS变换
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 融合 算法 研究 毕业论文