立体摄像方法和高速相机驱动电路研究综述Word文档格式.docx
- 文档编号:8396747
- 上传时间:2023-05-11
- 格式:DOCX
- 页数:10
- 大小:345.28KB
立体摄像方法和高速相机驱动电路研究综述Word文档格式.docx
《立体摄像方法和高速相机驱动电路研究综述Word文档格式.docx》由会员分享,可在线阅读,更多相关《立体摄像方法和高速相机驱动电路研究综述Word文档格式.docx(10页珍藏版)》请在冰点文库上搜索。
一是单镜头加滑轨移动摄像,另一种是单镜头折反射摄像。
M.F.D.Southwell[1],L.Conroy[2]和EduardoL.L.Cabral[3]利用一个透视摄像机和两个反射镜面连在一起的反射镜组成立体视觉系统。
此类系统成像为两个同心圆,空间同一点经两镜面的反射后分别成像在从像平面中心往外发散的半径的不同位置上。
图1-1单镜头双平面反光镜立体摄像[4]
图1-2单镜头曲面反射镜立体摄像【5】
单镜头立体摄像的优点:
摄像系统结构简单,不需要经过复杂的摄像机标定,图像对应点匹配容易。
1.2摄像机阵列摄像
根据摄像机排列的位置关系,摄像机阵列摄像一般可分为:
(1)平行摄像机阵列摄像;
(2)会聚摄像机阵列摄像。
平行摄像机阵列摄像只有水平视差没有垂直视差,而且摄取的图像在用自由立体显示器显示时只有负景深(凸出屏幕内),没有正景深(凹进屏幕内)。
为了获得正景深效果,邓欢[1.2.1]在平行摄像机阵列法的基础上,将获取的视差图像用软件的方法进行了平移处理,可以得到一定程度的正景深。
会聚摄像机阵列呈弧形排列,摄取的图像既有水平视差又有垂直视差,而且显示时既有负景深也有正景深,但是因为各摄像机光轴有夹角,使视差图产生了楔形畸变。
1.3微透镜阵列摄像
1.3.1微透镜阵列成像原理
微透镜阵列摄像是用来成全景图像的。
全景成像(IntegralImagine)最早由Lippmann在1908年提出[10]。
它的基本原理是,利用微透镜阵列来采集图像,图像记录胶片放置在微透镜阵列的焦平面上,每个微透镜从不同方向记录空间场景的一部分;
显示的时候,根据光线可逆的原理,将记录图像的胶片放置在同样参数的微透镜阵列的焦平面上,然后用光源从一侧照射胶片,光线穿过胶片后经微透镜阵列聚焦,又可再现胶片上的真实立体场景。
其原理图如图1-2。
图1-2全景成像示意图
图1-3微透镜阵列光路示意图
感光记录面上每个像点的光线来自全部透镜,但最初只能来自于景物上某部分发出的光线。
考虑景物B在第5个感光记录面P5上的某个像点P5x,它的光线来自景物B上呈奇数序号排列的和透镜等宽的区域(L1、L3、L5、L7、L9…)
可以用如下式子表示P5x的光线来源关系:
L1+L3+L5+L7+L9+…=>
P5x
考虑景物B在第4个感光记录面P4上的和P5x相距透镜宽度的对应像点P4x,它的光线来源关系可用如下式子表示:
L2+L4+L6+L8+L10+…=>
P4x
如果将景物B移动到景物A位置,那么景物A在第5个感光记录面上的某个像点P5x的光线来源关系式子为:
L2+L5+L8+L11+L14+…=>
景物上每个物点的光线会射向全部透镜,但最终只能射到某些序号的感光记录面上。
考虑景物B上某点Q,它射到各感光记录面上的光线去向关系可用下式表示:
Q=>
(P11+P12+P13+…)+(P31+P32+P33+…)+(P51+P52+P53+…)+(P71+P72+P73+…)+…
P5x的光线可以还原出L9,以这个视线角度,P4x的光线可以还原出L8,P3x的光线可以还原出L7,……,P1x的光线可以还原出L5。
所以提取每个感光靶面上的相应像素点,就可以组成一个视点的完整物像图,它的分辨率等于像素点的数目,也就是微透镜的个数。
当用光线照射这些像素点时,站在某个角度就可以看到由这些像素点发出的光线还原出的景物B的相应视点的图像。
由每个像素点发出的所有光线的灰度是一样的,即由P5x的光线还原出来的L9区间上的灰度处处都一样,但真实世界中L9区域上每点的灰度都是不一样的。
全景显示中的这个问题是不是就造成了再现景物的分辨率会下降呢?
清晰度确实会下降,但程度不大。
因为微透镜的直径一般都是毫米级别,所以相应的L9区间的长度也很小。
当然如果微透镜直径越小再现的景物的分辨率会越高,但是小到一定程度会出现衍射现象,效果必然适得其反。
因为由每个感光靶面提取相应的一个像素点就可以组合成一个视点的图像,所以微透镜阵列成像的视点数就等于每个感光靶面的像素个数。
全景成像的优点:
(1)观众不需要佩戴眼镜观看立体影像;
(2)易于产生连续视点效果;
日立公司已经研制出了一种5英寸微透镜阵列LCD显示屏[19],单个微透镜直径为0.3mm,总共有256×
192个微透镜。
每一微透镜下感光靶面的像素数为4×
4个。
如果要做一个1024×
768分辨率的微透镜阵列摄像机,那么所需的微透镜个数为1024×
768,整个微透镜阵列的长宽为30.72cm×
23.04cm(单个微透镜直径取0.3mm)。
1.3.2微透镜阵列摄像和摄像机阵列摄像的一些区别
(1)微透镜直径很小,微透镜阵列是组合在一台摄像机中摄像;
摄像机阵列摄像是使用多台摄像机从多个角度摄像。
(2)显示时,组帧方式上的区别
微透镜阵列摄像如果在显示时利用微透镜阵列对景像进行逆投影,则不需要对每幅子图像进行组帧,如果是利用计算机重构法来显示,则需要每隔一定间隔在每个子图像上提取一个像点组成一个视点图像;
而摄像机阵列的子图像需要相互隔列嵌套组合成一副大帧图像。
(3)视点和分辨率的区别
摄像机阵列摄像的分辨率取决于每个摄像机感光器件的像素个数,视点数取决于摄像机的个数;
微透镜阵列摄像的分辨率取决于透镜阵列的透镜个数,视点数取决于每个感光器件的像素个数。
1.3.3微透镜阵列摄像和普通相机摄像在成像上的差别
微透镜阵列摄像的感光记录面放在微透镜阵列的焦平面上,根据普通相机的聚焦成像公式1/g+1/u=1/f(g为物距,u为像距,f为焦距),若使微透镜阵列摄像的实物也能聚焦在感光记录面(焦平面)上,则u=f,那么g必须是无穷大才能满足聚焦成像公式。
而实际的微透镜阵列摄像系统不仅能拍摄很远的实物,也能拍摄近处的实物,这些实物在感光记录面上都是未聚焦的,照此说来,那感光记录面上输出的显示图像岂不是很模糊?
实际并非如此,这是因为微透镜阵列显示装置和微透镜阵列摄像装置结构基本一样,它能把感光记录面上的光线逆着摄像时的光路汇聚到实物空间,还原出实物的原来面貌。
所以说用微透镜阵列摄像装置和普通多视点显示器组合成一套立体成像系统,其可行性是需要深入探讨的。
1.3.4微透镜阵列摄像存在的问题
1.3.4.1再现的三维场景相对于原来的场景存在空间上深度的反转
针对微透镜阵列摄像在空间深度上的反转问题,Ives在1931年对Lippmann的方法进行了改进,通过引入两次记录过程,使原来的图像得到再次反转,使三维场景得以在正确的空间位置上还原出来[11]。
但是由于引入两次记录过程,成像误差加大,使还原出来的三维场景图像质量下降较大。
Davies和McCormick在1992年设计出了一种由两极光学传输网络构成的全景成像系统[12],该系统由一个输入宏透镜阵列、一个输出宏透镜阵列和一个自校正传输屏构成,在这个系统中只需要一次记录过程,从而不会引起图像质量的下降,还可以扩大景深和减少信息丢失,但由于微透镜尺寸太小且彼此距离很近,两束光线通过相邻微透镜后有可能交于同一点,使图像出现重叠现象。
为了消除这种重叠现象,日本NHK广播公司的Okano等人在1997年使用渐变型多模光纤阵列来代替记录微透镜阵列,该阵列的光学路径是独立互不交叉的,所以各个体元素图像相互独立,不存在重叠现象[13]。
但是这种光学重构系统会受光学器件的限制,使得三维图像的分辨率很难得到提高。
三维场景反转问题也可以通过计算机软件方法解决,但是不能使用于实时显示。
1.3.4.2分辨率过小
针对微透镜阵列摄像分辨率过小问题,张茉提出利用计算机重构法在每幅子图像相应位置上提取相邻多个像点来构成一个完整的视点图像[14]
1.3.4.3邻近子图像交叠
针对微透镜阵列摄像邻近子图像交叠问题,有些学者使用了棱镜阵列和光学栅栏[15][16][17],FumioOkano使用了长度为3/4周期的自聚焦透镜阵列来代替微透镜阵列[18],自聚焦透镜内的光线传播轨迹是相互隔离的,消除了邻近子图像间的交叠,但是高精度、高密度的自聚焦透镜阵列的制作工艺很困难,所以该方法在实际中使用很少。
1.3.4.4景深窄
目前有不少厂家宣扬他们的真三维产品、真三维技术,但是这些号称真三维的产品和技术不可能做到和真实世界一样。
其中的问题之一是:
景深很窄。
人眼看世界时,在相当广一段空间范围内处处都能看见清晰的场景(近视眼除外),这是由于眼球的自动调焦作用,使一定空间内的场景处处都能聚焦成像在人的视网膜上。
人眼清晰可见的空间场景的广度就是人眼的景深。
利用当前的三维技术还不能做出一个景深之广能达到人眼程度的立体显示器。
因为当前的立体成像系统做不到像人眼那样快速灵活地对纵深多个平面聚焦。
针对景深窄的问题,M.Martinez-Corral等[20]提出振幅调制的微透镜阵列法,通过调整微透镜的振幅透过率可以扩展景深,该方法简单易行。
J.H.Park等[21]提出单轴晶体片改变光学路径长度的方法,该方法需要加入动态的偏振片、单轴晶体片、滑动的狭缝阵列光罩等器件,可以产生3个中心深度平面,从而增加像
平面的深度,它的缺点是对开关的速度要求非常高,而且偏振器件的加入会减少光通量。
J.S.Jang等[22]提出了两种方法,其一是采用不同焦距和孔径尺寸的微透镜阵列提高景深,同时用移动的微透镜阵列技术(MALT)来克服由于采样频率减小而引起的图像分辨率恶化,此方法可以在保持分辨率的同时提高景深,但是MALT会带来空气的阻力和噪声,增加了系统的不稳定性;
其二[23]是采用实像场和虚像场结合的方法,避免了微透镜阵列动态的移动,也没有添加额外的器件,但是该方法只对不连续物体的成像有效,对于大多数连续的三维物体并不适用。
B.Lee等[24]提出采用动态变化的像平面方法提高景深,此方法要求沿纵向方向移动微透镜阵列以产生连续的中心深度平面,但是这种透镜阵列的快速机械移动同样会引起空气的阻力并产生噪声;
M.Hain等[25]提出采用衍射菲涅耳透镜阵列的方法提高景深,其不同焦距长度的透镜阵列还可以扩大视场角。
Y.Kim等[26]提出多层显示器的方法,中间层显示器设计成透明的,由多层显示器还原出来的三维场景有多个中心深度平面,因此增加了景深,如果相邻显示器的边缘深度平面做到恰好重叠,这样多层显示器的多个景深区域就可以连成一个整体,可以很好地表现出连续的三维物体,其原理图如图1-4.
图1-4多层显示器扩展景深原理图【27】
1.3.4.5微透镜过小,会产生明显的衍射现象。
根据波动光学菲涅耳衍射理论计算出的产生干扰最小的微透镜尺寸是2mm[187]
参考文献:
[1]SouthwellMFD,BasuA,ReydaJ.Panoramicstereo.In:
ProceedingsofInternationalConferenceonPatternRecognition,Vienna,Austria:
1996.378-382
[2]ConroyL.MooreJB.Resolutioninvariantsurfacesforpanoramicvisionsystems.In:
ProceedingsofIEEEInternationalConferenceonComputerVision,Kerkyra,Corfu,Greece:
1999.392-397.
[3]EduardoLI.CabralJoseC,deSouzaJunior,MarcosCHunold.Omni-directionalstereovisionwithahyperbolicdoublelobedmirror.In:
ProceedingsofIEEEInternationalConferenceonPatternRecognition.Cambridge,UnitedKingdom,2004:
1-4.
[4]杨金峰.大视场单摄像机立体视觉测量技术研究[学位论文D].天津大学,2007:
12.
[5]赵有金.基于FPGA的高分辨率全景图像处理平台的设计和实现[D].哈尔滨工程大学,2009:
10
[10]LippmannG.Laphotographieintegrale.ComtesRendus,AcademiedesSciences,1908,146:
446-451.
[11]IvesH.OpticalPropertiesofaLippmannLenticulatedSheet.J.Opt.Soc.Amer,1931,21:
171-176.
[12]DavisN,McCormickM.Holoscopicimagingwithtrue3D-contentinfullnaturalcolour.J.phot.Science,1992,40:
46-49.
[13]F.Okano,H.Hoshino,J.Arai,I.Yayuma.Realtimepickupmethodforathree-dimensionalimagebasedonintegralphotography.Appl.Opt.36,1997,1598-1603.
[14]张茉.基于计算机的数字重构全景成像技术研究[学位论文D].长春理工大学,2008:
33-35
[15]S.Manolache,A.Aggoun,M.McCorrnick,N.Davies,S.Y.Kung.Analyticalmodelofathreedimensionalintegralimagerecordingsystemthatusescircularandhexagonal-basedsphericalsurfacemicrolenses[J].J.Opt.Soc.Am,2001,18(6):
1814-1821.
[16]J.Hamaski,M.Okada,S.Utsunomiya.Lens-plate3Dcamerausingorthoscopic-pseusoscopic-imageconversionoptic[J].Mon.J.Opt.1997,36(7):
1598-1603.
[17]A.P.Sokolob.AutostereoscopyandintegralphotographybyprofessorLippmann’smethod[M].IZDMGU,MoscowStateUniversitypress.1931.
[18]F.Okano,H.Hoshino,J.Arai,I.Yuyama.Real-timepickupmethodforathree-dememsionalimagebasedonintegralphotography[J].Appl.opt,1997,36(7):
1598-1603.
[19]谢俊国等.基于微透镜阵列实现全真立体显示技术的研究[J].中国体视学和图像分析,2008,13
(1):
42.
[20]M.Martinez—Corral,B.Javidi,R.Martinez-Cuencaeta1..Integralimagingwithimproveddepthoffieldbyuseofamplitude—modulatedmiacrolensarrays[J]Appl.opt.,2004,43(31):
5806-5813.
[21]J.H.Park,S.Jung,H.Choietal..Integralimagingwithmultipleimageplanesusingauniaxlalcrystalplate[J].opt.Exp.,2003,11(16):
1862-1875
[22]J.S.Jang,B.Javidi.Largedepthoffocustime-multiplexedthree-dimensionalintegralimagingbyuseoflensletswithnonuniformfocallensandaperturesizes[J].opt.Lett.,2003,28(20):
1924-1926.
[23]J.S.Jang,F.Jin,B.Javidi.Three—dimensionalintegralimagingwithlargedepthoffocusbyuseofrealandvirtualfields[J].opt.Lett.,2003,28(16):
1421-1423
[24]B.Lee,S.Jung,S.W.Mineta1..Three—dimensionaldisplaybyuseofintegralphotographywithdynamicallyvariableimageplanes[J].Opt.Lett.,2001,26(19):
1481~1482
[25]M.Hain,W.Spiegel,M.Schmiedcheneta1..3DintegralimagingusingdiffractiveFresnellensarrays[J].opt.Exp.,2005,13
(1):
315-326
[26]Y.Kim,J.H.Park,H.Chokteta1..Depth—enhancedthree-dimensionalintegralimagingbyuseofmultilayereddisplaydevices[J].Appl.opt.,2006,45
(1):
4334~4343
[27]王晓蕊等.三维集成成像景深提高方法的研究[J].激光和光电子学进展,2009,8:
26-30.
[1.2.1]邓欢等.平行摄像机阵列移位法获取视差图像的研究[J].光子学报,2009,38(11):
2985-2987.
[187]K.Lee,D.Hwang,S.Kim,eta1.Blur-metric-basedresolutionenhancementofcomputationallyreconstructedintegralimages.Appl.Opt.2008,47(15):
2859-2869.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 立体 摄像 方法 高速 相机 驱动 电路 研究 综述
![提示](https://static.bingdoc.com/images/bang_tan.gif)