光场重建中相关性估计研究讲义Word文件下载.docx
- 文档编号:7285374
- 上传时间:2023-05-08
- 格式:DOCX
- 页数:22
- 大小:242.13KB
光场重建中相关性估计研究讲义Word文件下载.docx
《光场重建中相关性估计研究讲义Word文件下载.docx》由会员分享,可在线阅读,更多相关《光场重建中相关性估计研究讲义Word文件下载.docx(22页珍藏版)》请在冰点文库上搜索。
指导教师签名:
日期:
摘要
本文首先阐述了光场重建技术的选题的研究现状和展望,简要介绍了研究中所遇到的难题;
接着介绍了光场重建具体操作的原理和方法;
通过合理布置阵列相机,获取目标场景的三维数据,而获取的的光场数据越多,目标场景的数据误差越小,重建后的图像越精确,如此会得到庞大的数据,成本也高。
基于此种技术难题,本文通过特定的方式获取光场图像,根据光场数据量巨大的特点,建立简化的相关性估计模型,以提高处理速度,根据估计结果,建立Bayesian压缩感知的光场先验模型,结合光场渲染技术,不但能重建出原始视点的光场图像,还能渲染出新的视点。
然后运用图像压缩感知算法,达到减少数据量,提高运算速度的目的。
关键词:
光场获取,光场成像,压缩感知,图像配准
ABSTRACT
AredescribedinthispaperresearchsituationandProspectofthelightfieldreconstructiontechnologytopics,problemsencounteredintheresearcharebrieflyintroduced;
andthenintroducedtheprincipleandmethodofthespecificoperationofthelightfieldreconstruction;
throughtherationalarrangementofarraycamera,accesstothe3Ddataoftheobjectinthescene,andobtainthelightfielddatamore,scenedataerrorissmall,thereconstructedimageismoreaccurate,sowillgethugedata,thecostishigh.Basedonthistechnicalproblem.Inthispaper,thespecificlightfieldimageacquisition,accordingtothelightfieldwithhugeamountofdata,thecharacteristics,asimplifiedcorrelationestimationmodel,toimprovetheprocessingspeed,accordingtotheestimationresults,aBayesiancompressivesensinglightfieldpriormodel,combinedwiththelightfieldrenderingtechnology,notonlycanreconstructtheoriginalviewofthelightfieldimages,butalsorenderanewpointofview.Then,theimagecompressionalgorithmisusedtoachievethepurposeofreducingtheamountofdataandimprovingthespeedofoperation.
Keywords:
Lightfieldacquisition,lightfieldimagecompressivesensing,thecorrelationsacrossimages
目录
摘要2
目录4
第一章绪论5
1.1引言6
1.2光场成像技术的研究现状6
1.4本课题研究的和主要工作目的及意义7
第二章光场图像8
2.1光场的定义8
2.2光场的获取方式9
2.3光场图像的压缩处理的必要性10
2.4小结10
第三章光的相关性技术及常见配准算法11
3.1光的相关性技术11
3.1.1.Lumigraphs的相关性算法基础11
3.1.2.Lumigraphs的自适应合成算法11
3.1.3.通过相关性绘制的交互式的流明图12
3.1.4.结论和未来的工作12
3.2运用相关性估计的必要性13
3.3常见图像配准算法及不足14
3.3.1基于轮廓的方法14
3.3.2基于边缘特征的配准方法14
3.3.3基于区域特征结构的配准方法14
3.3.4基于特征点的配准方法14
3.48matlab实现15
3.5小结16
第四章基于图像相关性的压缩感知17
4.1Bayesian理论简介17
4.2压缩感知理论简介17
4.3新视点算法18
4.3.1算法简介18
4.3.2图像优化压缩19
4.3.3算法20
4.3.4结果分析20
4.4小结20
第五章结束语21
参考文献22
致谢23
第一章绪论
1.1引言
光场是对四维光辐射场的空间位置和方向信息的参数化表示,获取数据后输入计算机进行成像。
传统的成像方式在拍摄高速移动或多目标大间距的物体时,易出现失焦、跑焦等现象。
对于高速移动的物体来说,清晰的获取一瞬间的图像是很困难的,多大数获取的图像都是模糊的,曝光时间太短会导致拍摄图像太暗,增大孔径则造成景深太小,背景模糊。
而对多目标物的场景来说,焦点往往对准在中心物体上,其他目标由于景深过小往往看不清细节。
调小光圈的方法需要在光线充足的情况下可以使用,但是如果拍摄光线不足,便会出现曝光不足。
光场成像通过记录光辐射在传播过程中的四维位置和方向的信息,相对于只记录二维的传统成像方式多出2个自由度,自然而然在图像重建过程中,能够获得更加丰富的图像信息。
此外,还能通过数字重聚焦技术解决特殊场合图像的失焦、背景目标过多等问题;
通过合成孔径技术实现“透视”监视;
在与显微技术融合后,还能得到多视角大景深显微图像,以及重建后的三维立体图。
1.2光场成像技术的研究现状
和传统的直接拍摄获取数据不同,光场成像需要数字处理算法的转换才能得到所需的光场图像。
因此,光场成像的过程包括光场数据采集以及相应的光场数据处理。
从结构上来分,光场的采集主要包括多桕机组合和单相机改造两种。
前者采用多个相机组成阵列:
各个相机分布在目标场景的各个方向,分别对光场的各个方向进行采样;
相机中的探测器像元经过镜头投影到外部相应的位置进行采样。
单相机光场采集方式是运用单个相机中的光学调制元件改变其成像结构,从而将相机内部的四维光场重新分布到一个二维的探测器平面上。
1.3光场成像技术展望
传统相机的成像获取方式简单,从而限制了图片的重塑性;
而光场成像没有此局限性,它记录的是包含位置和方向信息的四维数据的参数化表示。
也就是说,不用拍摄者实时拍摄,也能对场景的视角、远近景,甚至是光线本身进行操作,以获得最优的图像。
用机器拍摄的图像并不能完全反映人的主观意向,如果采用光场成像,便可以由人凭借对图像的喜好来调整图像,最终得到的图像才能更灵活化、多元化。
而且,随着计算机运行速度不断提升和重构算法的不断改进,运用计算机进行数据处理的光场成像技术的未来也必将一片光明。
可以预见的应用范围很广:
一般摄影爱好者可以通过数字重聚焦技术来提高聚焦能力,摆脱失焦、跑焦困扰,从而灵活的处理图片;
在高速运动场景、多主体距离较大场景以及光线不足的室内拍摄,它有不可匹敌的优势;
合成孔径技术可以应用于“透视”监控安全及监控;
光场数据合成视角像可以应用在多媒体动画及电视广告领域来实现虚拟3D显示;
通过对光场数据的反演,还能数字化地校正光学系统像差,降低透镜制作精度,大大降低光学系统设计和加工难度。
目前获取光场的方法开始朝着2个极端方向发展:
(1)大尺度的大规模相机阵列;
(2)小尺度的光场显微镜。
这就意味着能在更多的领域中运用光场成像技术,从大的航空拍摄,到小的微生物观测,细到目前光学成像的所有领域。
传统成像一直在用二维的方法记录者三维的世界,如果能改变此项矛盾,那么,我们就可以还原一个更为真实,生动的世界,这就是光场成像试图去实现的目标。
然而,光场数据多出的二维信息是以牺牲一定的空间分辨率为代价的,二者之间存在一个折衷。
现有的光场相机普遍存在图像空间分辨率不高的问题,如果提高图像空间分辨率的时,兼顾轴向的分辨率,变回会对光电探测器件要求更高。
这是当前光场成像技术的一个难题。
如何在解决二者最优化分布的矛盾,是今后研究的一个重点。
此外,由于光场图像所含的信息量巨大,所以数据量也很大,所以对存储设备和处理器的容量和速度要求也很高。
因此,光场成像在技术实现、软硬件处理能力、商业化成本及使用便捷性等方面还有很多亟待解决的问题。
1.4本课题研究的和主要工作目的及意义
光场图像常被用于重构三维场景,越多的光场图像能更好的还原出真实的三维场景,然而这样就会需要更多的信息量,从而数据量过大,图片获取成本也更高。
由于光场图像是由相机阵列从不同视角对同一场景拍摄得到,所以光场图像之间有较强的相关性。
传统的图像压缩感知的原理是直接对目标图像进行感知和重构的,将传统模式直接运用于光场图像,就会只考虑了图像内的相关性,而忽略了光场图像之间的相关性。
同时利用图像内的相关性和光场图像之间的相关性,再对光场图像进行进行重新排列组合,最后再利用压缩感知对图像进行感知和重建。
会极大的节约数据存储和处理量,为光场重建走进小型终端做好坚定的一步。
第二章光场图像
2.1光场的定义
光场[3,1]是光岀射或者入射一个有界的三维空间的四维表示。
通常一个光场由两个平行平面的二维坐标进行参数化表示。
至少有六个这样的双平面(称为板)来表示完整光分布所需的区域。
所有光线通过一个平面同一点在第二个平面上形成了透视图像(参见图1)。
这就是为什么两平面通常分为视平面,或称(S;
T)平面,和图像平面,或称(U;
V)平面。
如图一描述,光沿着任意射线穿过两平面可以被4x4区域最近的四线性插值重建。
此方法假定被光束(如表面反射光)表述的三维点位于图像平面,一般情况下,这是不正确的。
这在光场重建时导致严重的模糊和重像。
为了避免这些,光场必须非常密集采样,例如必须获取和存储大量的图像。
Lumigraph[1]是一个光场表示,使用一些额外的几何信息,通常以一个近似三角形网格的形式。
和“纯”光场方法相反,Lumigraph重建算法可以考虑点在场景的实际位置。
通过相交近似场景在几何上深度相关的光线,用这些样品,进行实际场景的重建。
图1:
光场的二平面参数化草图。
沿射线的辐射可以用两个平面最近的4x4再现,光束集通过一个视点(
;
)在(U;
V)平面形成映射图像。
Lumigraph法存在两种问题。
首先,它并不是总容易从真实世界获得一个近似三角形网格的场景。
其次,它很难确定几何信息的质量和分辨率。
一方面,太少的三角形来进行场景的重建,将在光场渲染产生类似的景象。
另一方面,太多的三角结构极度减慢重建算法的速度。
我们试图克服这些限制,使用逐像素深度信息,而不是近似三角形网格。
基于这种表示方法,我们提出了大量的相关性基础技术为了获得、精炼和渲染Lumigraphs逐像素深度信息,这将是在本文的其余部分简要勾勒出。
2.2光场的获取方式
目前获取光场的手段主要分为以下3种:
1)微透镜阵列。
这是最常用和简单的光场获取方式。
在普通成像系统的一次像面处插入一个微透镜阵列,各个微透镜元记录的光线对应相同位置不同视角的场景图像,来构成一个四维光场。
Adelson的全光场相机,Ng的手持光场相机,Levoy的光场显微镜(LFM),Fife的光场“芯片”以及Georgiev的PlenopticCamera2.0等,都是采用微透镜阵列来获取四维光场数据,从而实现不同的功能。
Adobe公司采用透镜和棱镜阵列获取光场数据的光场相机,相比传统的微透镜阵列方式,有更强的可移植性。
它是将透镜和棱镜集成为一个光学元件,外接在普通相机上即可实现,具有较高的图像分辨率;
但是由于镜头外接,会引入新的像差。
2)相机阵列。
它是指在空间排布一定相机来同时抓取一系列视角略有差别的图像,从而重构出光场数据的方法。
例如,斯坦福大学采用不同空间排布的128相机阵列,,能够获得包括空间分辨率、动态范围、景深、帧速、光谱敏感性等一些异于普通相机的特性。
其中大尺度空间排布的相机阵列可以用于合成孔径成像实现“透视”监测,或者通过拼接实现大视角全景成像,而高性能的动态场景的获取主要依靠紧密排布型。
还有Isaksen的单相机扫描系统,是通过让相机在场景的不同特定地点移动来获取不同的视角,它构建的最初目的是为了研究光场数据的动态参量化。
此外,还有MIT的64相机阵列,卡耐基-梅隆大学的“3DRoom”等。
3)掩膜及其他。
与其他的方法相比,它们都是对相机的孔径做相应处理,以得到相应的光场数据。
有代表性的Veeraraghavan的光场相机,是将掩膜放置在普通相机光路中。
所得图像具有频域特性,经过变换到频域后,其规律性分布的频域,与光场数据的频域特性类似,处理可以得到四维光场信息。
与微透镜阵列相比在于掩膜是非折射元件,它后期的成像质量更好而且硬件方面更容易获取。
可编程孔径相机是在普通的相机插入一个特殊的遮光板然后通过编码来提高图像的空间分辨率和景深来构成四维光场。
环形孔径相机,通过对图像进行退卷积处理可达到较高的图像分辨率的效果,但它的结构比较复杂。
2.3光场图像的压缩处理的必要性
本文研究的是由相机阵列从不同视角对同一场景拍摄而得到的光场图像,所以得到的光场图像数据量巨大,存储和后期的数据存储压力很大,必须对其进行压缩。
根据压缩感知信号采样理论,可将稀疏或可压缩信号变换至稀疏域,少量测量稀疏信号就能以较高概率精确重构原始信号。
光场数据采取压缩感知理论进行压缩,可以有效的减少光场图像的数据量,提高重构光场图像的质量。
2.4小结
本小节阐述了光场的基本理论,介绍了目前常用的几种光场获取方式,本文用到的是列阵相机获取方式,从而了解到获取光场数据具有量大,难以存储的难题,接着得出对光场图像数据进行的压缩处理的十分重要的结论。
第三章光的相关性技术及常见配准算法
3.1光的相关性技术
3.1.1.Lumigraphs的相关性算法基础
Lumigraph算法的基本是最初粗糙的Lumigraph包含相对较少的图像(例如4X4)和创建额外的图像的中间点。
新图像是前置相关性,被视为一个逆深度校正。
Lumigraph相关性算法的优势是与往常一样的情况下,像素再次投影到同一平面,而新形象只是插入从附近的几个观点,而不是外推的方向,没有进一步的视点可以找到。
事实证明,这种特殊的图像扭曲很简单,可以很有效地执行,最大限度地减少扭曲造成的采样率的变化。
再投影原始像素后,我们从所有不堵塞的像素中,最后的像素颜色像素映射到相同的位置,从而获得顺利重建图像。
所有信息中包含的所有可见表面的原始图片中,输出的质量非常高,使它们几乎与原件相同。
因为很快可以生成中间图像,加载Lumigraph后,细化可以完成。
这样比一般算法可以更快加载更高分辨率的图像。
Lumigraph结果可以呈现出高质量的使用标准的光场渲染。
3.1.2.Lumigraphs的自适应合成算法
随着我们演示在[2]中的,它可以改进粗糙的Lumigraphs模型和获得一个更高渲染质量的图像,如果设置的图像包含足够的信息对场景的特性描述。
建立Lumigraph模型,合成场景通常涉及大量的计算工作,必须获得那些真正需要的有用信息进行重建最后的图像。
这可以通过使用图像的相关性误差估计进行重建。
首先,我们获得一个初始值,很粗糙值,Lumigraph(列如,2x2眼点/图)。
我们创建一个三角结构视点,为估计这种相关性选择的一些合理的候选点。
列如,三角形的中心的边缘。
通过射线追踪获得相应的图片,并相应地适应三角测量和误差估计。
算法停止获得所需的图像后,或未来的错误候选点低于一个阈值。
错误估计主要考虑两个因素:
不同的颜色的区别将被内插获得最终的像素的颜色,并映射到源像素同一目标像素。
这种方法比较容易检测孔,混合错误,和像素没有保守的颜色估计可以派生(如。
如果只有信息从一个源像素)。
我们自动自适应采集产生合成的Lumigraphs模型(在我们视野中)最佳Lumigraph模型给定的图像。
该方法也可以扩展到选择最合适的图片序列,例如当创建Lumigraphs的视频流。
3.1.3.通过相关性绘制的交互式的流明图
如[2]所示的,相关性可以有效地产生中间的高品质流明图。
但是,光场中流明图细化方法会消耗交互式显示器的大量的内存和图形固件资源。
与之前的预处理中的相关性不同,最近我们引入一种技巧,在交互式帧频中,对于可视化的流明图,这种技巧采用了相似的相关性技巧。
对于每一幅视图,用视点平面的三角测量,我们把输出图像分割成一块块区域。
对于每一块三角,我们从我们想提取和插入颜色信息的参考图像中进行判别。
下面,我们必须判断源区中每一块被影响的参考图像,这部分必须被实行投影变换,这是为了填满输出图像中相应的目标部分(一个三角扇)。
通过考虑流入目标源区的像素,我们计算源区的保守边界。
然后,从每一幅源图像到以内插值替换的最终图像,我们仅对有必要的像素实行投影变换。
在源流名图平面上产生这些相关性的流明图,通过使用硬件支持的纹理贴图,投影变换成实际图像。
这种技巧支持相对稀疏的高质量的流明图的交互式视图方式,在一个sgio2上可以达到大约5-7帧率每秒。
算法的性能几乎不依赖流明图中参考图像的数目。
图2说明了重建的质量。
3.1.4.结论和未来的工作
我们已经展示了集中以相关性为基础的技巧,用来获取、改善、绘制流明图。
这种方式从相对紧的流明图中得高质量的结果,也展示了以相关性为基础的技巧和光场呈现的方式之间的有趣的桥梁。
未来有几个方向,最有希望的是多分辨率技巧,无冗余编码,和现实世界数据的应用。
图2:
例子说明了在sec.4中以相关性为基础的交互式表现技巧
3.2运用相关性估计的必要性
为了渲染出接近于现实世界的场景一个物体的必须采集足够密的光场(相邻图片之间的最大视差不能高于一个像素),否则就会偏差过大。
例如对一个256×
256像素的图像,最少需要200000张图片。
但是,就现在的技术和设备条件,不能达到精确抽样,目前,一般用整个光场信息的一个抽样表示物理记录的光场,即便是二次抽样的光场也有庞大的图片量,产生上亿字节的数据量。
存储一个光场原始数据需要的内存大小为Nu×
Nv×
Ns×
Nt×
D×
n,其中Nu×
Nv是列阵相机的个数,Ns×
Nt为图像像素的数,D为像素颜色的通道,n为光场的光片数,如此计算单光片8×
8幅768×
576个像素图像就需要27MB的容量进行存储。
一个有4个光片的光场就需要1.6GB的存储空间,而现实中重建一个正常的场景远远不止4个片光,如此就需要无比庞大的存储空间,一般的存储设备难以满足条件,所以压缩问题成了光场应用中的一个基本问题。
光场图像越多,还原出的三维场景越真实,越精确,此矛盾必然使数据量过大,图片获取成本更高。
由于本文光场图像是由相机阵列从不同视角对同一场景拍摄而得到,故而临近的图像间存在着较强的相关性。
传统图像压缩感知的方式是直接对图像进行感知和重构,如果将传统模式直接用于光场图像的重建,只考虑了图像间却没有考虑到光场间的相关性特性,所以不仅要利用了图像内的相关性,还要利用光场图像之间的相关性,对光场图像进行进行处理,先重新排列组合,再利用压缩感知原理对图像进行感知和重建。
本文通过阵列相机来获取光场图像。
假设平面相机阵列由分辨率为P=Ph×
Pv(Ph、Pv分别表示相机的水平分辨率和垂直分辨率)的N=Nr×
Nc(Nr、Nc分别表示相机阵列在行、列上的相机数目)。
本文Nr=1、Nc=100,相机分辨率Ph=Pv=513。
因此,可以得到100张尺寸为513×
513的光场图像。
按照相应拍摄相机的顺序(从相机1至100),将100个相机的拍摄结果依次排列形成一个图像集,然后按各行进行切割,这样每个切割平面就形成一幅新的图像,称为切割图像。
也就是按照相应拍摄相机的顺序,将每幅图像的第i(i=1,2,…,100)行组合成1幅新的图像i。
最终,可以得到513张切割图像,且切割图像的尺寸为100×
513,转制后,从可以发现,切割图像具有明显平行四边形带状条纹的特征。
尽管大小不一样,但是带状的倾斜角保持一致。
在带状条纹内所有像素值近似相等,因此带状条纹可以近似看成直流信号内信号。
3.3常见图像配准算法及不足
3.3.1基于轮廓的方法
基于闭合轮廓的的图像配准方法,在多传感器配准图像间的旋转、平移、尺度缩放等变换效果明显。
然而,实际条件下无法得到足够多的闭合轮廓,限制了基于闭合轮廓的图像配准方法的应用范围,比如,区域之间的重叠比较严重等因素。
普通边缘即非闭合轮廓相对于闭合轮廓是图像中更为普遍存在的特征,所以,应用基于非闭合轮廓的图像配准方法更有实用意义。
3.3.2基于边缘特征的配准方法
边缘特征均有图像中的部分结构信息,所以它的优点是能有效地剔除灰度畸变对配准的影响,而且边缘检测计算快捷。
但边缘特征也有其缺点,在提取过程中容易出现断裂、提取不完整等现象,不利于后续的图像匹配处理。
3.3.3基于区域特征结构的配准方法
区域分割比较容易进行,基于区域特征结构的配准算法就是一种不错的匹配算法。
通过矩不变量这一区域统计特征,它对图像旋转、平移、缩放等具有不变性。
此匹配采用欧式距离作为相似性度量标准,使两幅图像的矩不变量的相似性达到最大。
但利用区域特征进行匹配的算法不容易实现区域提取的一致性。
3.3.4基于特征点的配准方法
常用提取特征点方法有HARRIS角点检测和SIFH法,HARRIS角点检测是基于图像灰度的方法,有效的避开了对图像的质量的过分依赖。
SIFH法具有跟高的独立性,能够很好描述特征点临域梯度信息,但是其纹理不够丰富,特征点不好提取。
从以上介绍可以看出,至今没有一种图像配准方法能够具有绝度的适用性,不同的情况要用不同的配准方法。
因此,针对具体的图像类型,尽可能地提高图像配准方法的自动化程度、配准精度、实时性和鲁棒性等成为图像配准的研究目标。
3.4matlab实现
3.5小结
本小节建立了简单的相关性估计模型,通过分析,得出光场图像具有数据量巨大的问题,从而引出运用相关性估计的必要性,最后介绍了几张常用的算法及不足。
第四章基于图像相关性的压缩
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 重建 相关性 估计 研究 讲义