基于机器视觉的智能车辆障碍物检测方法研究概要.docx
- 文档编号:10198879
- 上传时间:2023-05-24
- 格式:DOCX
- 页数:12
- 大小:153.78KB
基于机器视觉的智能车辆障碍物检测方法研究概要.docx
《基于机器视觉的智能车辆障碍物检测方法研究概要.docx》由会员分享,可在线阅读,更多相关《基于机器视觉的智能车辆障碍物检测方法研究概要.docx(12页珍藏版)》请在冰点文库上搜索。
基于机器视觉的智能车辆障碍物检测方法研究概要
Vol119 No14公 路 交 通 科 技2002年8月JOURNALOFHIGHWAYANDTRANSPORTATIONRESEARCHANDDEVELOPMENT文章编号:
1002Ο0268(200204Ο0126Ο04
收稿日期:
2001Ο08Ο06基于机器视觉的智能车辆障碍物检测方法研究
李 斌,王荣本,郭克友
(吉林大学交通学院,吉林 长春 130025
摘要:
着重阐述基于机器视觉的前方车辆障碍物检测方法。
首先根据公路上前方车辆的先验特征模型,建立障碍物探测的感兴趣区,以缩小搜索区域;随后提出一种新的对称变换算子,用于检测障碍物车辆的对称轴,并确定障碍物车辆的矩形轮廓。
为进一步提高障碍物检测的实时性,采用递归模板匹配法对障碍物进行跟踪。
试验表明上述方法是有效的。
关键词:
智能车辆;机器视觉;对称变换
中图分类号:
U49116 文献标识码:
A
StudyonMachineVisionBasedObstacleDetectionandRecognitionMethod
forIntelligentVehicle
LIBin,WANGRongΟben,GUOKeΟyou
(TransportationCollegeofJilinUniversity,Jilin Changchun 130025,China
Abstract:
Aleadingvehicledetectionandrecognitionmethodbasedonmachinevisionismainlydescribedinthispaper.Firstly,inor2dertoreducethesearchingarea,anareaofinterest(AOIfortheobstacleisgottenbasedontheimagecontourdetectionandtheprioriknowledgeoftheleadingvehicleontheroad.Secondly,anewsymmetrytransformoperatorusedtosearchforthesymmetryaxisoftheleadingvehicleintheimageisproposed,anditstherectanglecontourisobtainedusingthehoughtransform.Thentheconceptofsym2metrydistanceisintroducedtovalidatetheleadingvehicle.Furthermore,inordertoimproverealtimeobstacledetection,arecursivetemplatematchingmethodisestablishedtotracktheleadingvehicle′slocationintheimage.Theexperimentresultsindicateitsvalidity.Keywords:
Intelligentvehicle;Machinevision;Symmetrytransform
探测障碍物和预测危险是智能车辆不可缺少的重要功能。
对前方车辆进行实时自动探测和识别对于保持安全车距、防止发生碰撞事故具有十分重要的意义,也是安全行驶的前提条件。
视觉是人类观察世界、认识世界的重要功能手段,驾驶员驾驶车辆过程中所需要信息的90%来自视觉[1]。
而从图像处理与模式识别发展起来的计算机视觉(也称机器视觉,能够利用图像和图像序列来识别和认知三维世界,使计算机实现人的视觉系统的某些功能。
因此机器视觉已成为目前智能车辆及安全辅助驾驶中信息获取手段的主要途径。
本文立足机器视觉技术,提出了一种比较系统的障碍物实时探测识别方法。
试验验证了它的有效性。
1 基于先验知识的车辆特征模型
通常,人们对待识别和定位的目标都具有先验知识,人类视觉系统之所以能识别和分辨千差万别的目标,也是长期积累先验知识或者说是训练学习的结果。
公路上行驶的前方车辆在灰度图像中主要呈现以下后视特征:
11形状特征。
大体为矩形,而且满足特殊的形状比例,宽一般在1~2m之间,高一般在1~3m之间。
21边界特征。
底部水平线、左右两侧的垂直边、后车窗、保险杠、车牌在图像中呈明显的边界特征。
31灰度特征。
一般情况下,车辆在图像中与背
景灰度有显著差异。
可考虑离线建立背景的灰度特征
模型,以便在线时和车辆的灰度进行比较。
41对称性特征。
车辆的对称特征包括灰度对称、水平边缘和垂直边缘对称。
51位置特征。
一般位于车道线内。
61序列图像特征。
前方车辆在图像序列中呈一
定的连续性
。
图1 障碍物探测识别流程图
71动态变化特征。
车辆特征模型应是动态变化的。
距离不同所呈现的特征是不同的。
例如,当车辆距离较远时,往往仅灰度特征较明显,但随着车辆逐渐靠近,其形状、边界和对称特征也逐步明显。
本文提出的车辆障碍物检测方法,首先从中选取部分有效特征,运用大量的先验知识,对车辆进行探测和识别。
障碍物检测过程可以分为两个阶段:
首先利用先验知识探测前方车辆,形成障碍物假设和感兴趣区,然后在感兴趣区中确认识别障碍物。
在连续的图像序列中,当前方车辆障碍物被确认后,后续图像中采用递归模板匹配法跟踪障碍物目标。
车辆障碍物检测流程如图1。
2 障碍物探测及感兴趣区的建立211 障碍物搜索区域的缩小
行驶在公路上的车辆都有一定的位置特征,不失一般性。
假设当前车辆始终在同一车道内行驶,则当前车道以外的障碍物并不影响当前车辆行驶安全。
因此本文的研究对象限于当前车道内的前方车辆。
也就是说,搜索障碍物的区域可由整个图像缩小为由两条车道线相交组成的三角区域,如图2左边所示。
若当前车辆在车道正中央平行于车道线行驶,则理想情况下,两车道线的交点即为延伸焦点FOE(FocusofEx2pend,FOE在图像中的位置是不变的。
根据上述约束缩小搜索区域有利于缩短障碍物检测时间。
车道线检测方法在笔者以前的工作和论文中已有体现[2],在此不再赘述。
212 障碍物探测
对于高速运动的车辆,尽可能早的发现前方障碍物对于其安全行驶是非常必要的,所以应对障碍物进行预前探测。
为此本文采用的摄像机由高分辨率的黑白CCD和25mm的长焦镜头组成。
当障碍物较远时,其位于图像的FOE延伸焦点附近,几乎可以看作是静止的,对其很难进行运动检测,只能利用障碍物车辆的特征模型。
但是障碍物距离远则成像较小,例如车宽2m,距离80m左右时成像大小仅为约40pixels,在这种情况下,特征也不易抽取,进行水平边缘和垂直边缘检测以及对称检测意义均不大。
基于此,本文将障碍物检测分为两个阶段,即初步探测阶段和确认识别阶段。
当障碍物距离较远时,可根据障碍物的早期特征线索进行探测,形成障碍物假设目标,并随着障碍物的逐步靠近,对障碍物进行确认识别。
从另一方面讲,障碍物远,对当前车辆的安全威胁小,可以先进行初步探测;随着障碍物越来越近,虽然对当前车辆的安全威胁越来越大,但障碍物恰好被逐步确认识别。
一般车辆包含许多水平结构,如底部水平阴影线、后车窗、保险杠、车牌等。
当车辆距离较远时,图像上水平边缘聚集的特点较明显,可作为探测障碍物车辆的线索。
具体步骤如下:
11根据车辆在图像上水平边缘聚集的特点,对图像进行水平Sobel变换(如图2右,增强水平边缘。
21在两车道线确定的三角搜索区域内,以每行
象素的灰度均值为度量,自下而上逐行扫描。
基于机器视觉的智能车辆障碍物检测方法研究 李 斌等
31一般而言,灰度均值阶跃变化所在行(均值突变行的位置对应着障碍物车辆的最下边缘(主要是由
车辆底部的阴影造成,即探测到可能的障碍物车辆。
41若在整个搜索区域内没有灰度均值突变,则认为当前车道内没有障碍物
。
图2 水平Sobel变换
213 感兴趣区的建立
根据统计规律,灰度均值突变行附近区域存在障碍物车辆的几率非常大。
因此可以此为基础建立矩形形状的感兴趣区AOI(AreaofInterest。
AOI应适当大于车辆的实际尺寸。
具体步骤如下:
11以灰度均值突变行下方第k行(k的值由实
际标定而得,本文中k=5作为AOI的底边,求该底边与两车道线的交点。
21分别由左右交点向上引竖直线作为AOI的两侧边。
高度的选取根据车辆形状的先验知识,尽量将车辆全部包含在AOI中。
本文采用4∶3的高宽比,如图3所示的矩形框即为获得的AOI
。
图3 感兴趣区AOI
AOI的建立意味着已形成障碍物假设目标。
下一
步工作就是在AOI中对假设目标进行确认识别。
3 障碍物的识别确认
本文基于车辆的矩形边缘特征和对称特性来确认识别目标车辆,以提高识别的有效性。
在建立AOI过程中,为了将可能的障碍物区域全部包括其中,AOI的区域比实际的障碍物车辆要大(如图3。
因此,在确认障碍物前,应首先获得障碍物在AOI中的具体位置。
为此,本文基于车辆的灰度对称性,提出一种搜索车辆对称轴的对称变换方法。
311 对称轴求取
利用对称变换ST(SymmetryTransform算子对AOI进行对称变换,然后利用Hough变换检测垂直的
对称轴。
算子窗口的大小为(2k+1×(2k+1,中心位于(i,j,k值可根据实际情况选取,本文中k=9。
采用窗口模板操作,STi,j表示操作结束后赋给窗口中心位置的灰度值,模板运算公式如下
STi,j=Mi,j・Ei,j・255(1Mi,j=e-λ|mi,j|
(2
mi,j=∑r=+kr=-k
∑s=+k
s=-kg
i-r,j-s・s3
(3
Ei,j
=-∑l=255
l=
0[pl
・lnp
l
+(1-pl・ln(1-pl]
(4
式中,mi,j为窗口中灰度的三阶中心矩[3];Mi,j为窗口中灰度对称度量的权值;Ei,j为窗口中灰度的熵权值[4](已经规一化;pl为窗口内灰度值l出现的概率,在这里用频率近似代替。
熵权值的引入,主要是为了消除灰度一致区域(如
路面对对称度量的影响。
如果没有考虑熵权值,灰度一致区域则表现为很高的对称性。
由于熵表示信息量的多少,因此灰度一致区域的熵是很小的,而公式中加入熵因子将有效抑制灰度一致区域的影响。
对AOI进行对称变换后,对称轴灰度被加强,其它区域被弱化。
如图4所示
。
图4
对称轴求取图5 车辆轮廓
312 确定车辆矩形轮廓
在对原灰度图像进行垂直Sobel边缘检测基础上,在AOI内进行垂直方向Hough变换,检测垂直直线,即车辆障碍物的两侧边界轮廓,并结合的对称轴位置,对车辆障碍物进行初步确认,即两边界应对称分布在轴线两侧。
313 对称性度量
通过前面的运算,已经得到对称轴线和车辆矩形轮廓,下面用连续对称的概念从数值上刻画对称的程度。
对称性是车辆的重要特征。
根据连续性对称度量
概念,引入对称距离(SymmetryDistance[5],即把一给定的图形变换为其相应的对称图形所需要的最小“能
公路交通科技 2002年 第4期
量”(effortsorenergy。
对称距离SD可从数值上刻画其对称的程度。
对称距离通过求矩形框内对称轴线两侧对应象素灰度值gleft和gright之间的均方误差获得,即
SD=E(gleft-gright2(5SD越小表示当前矩形区域内对称程度越高。
当
SD小于一阈值时,即可确认障碍物的存在(
如图6。
阈值的选取应根据先验统计规律。
本文阈值取95。
图6 障碍物确认
314 试验验证
为验证以上算法的有效性,以吉林大学交通学院智能车辆课题组研制的JUTIVΟ2智能车辆为平台进行道路试验。
JUTIVΟ2以机器视觉为导航方式,其图像采集系统由分辨率为640×480的普通黑白CCD和25mm镜头组成,探测距离可达80m左右。
图像处理基于普通台式计算机(PentiumII450MMX。
道路试验结果表明,利用上述算法进行前方车辆障碍物检测,误检率为1123%,漏检率仅为0142%,平均检测时间为42ms,基本可以满足实时性要求。
说明本文算法是有效的。
针对存在的误检和漏检现象,笔者将在今后的工作中采用传感器数据融合方法进行解决。
4 障碍物跟踪
前面介绍的前方车辆探测和确认识别方法是针对单帧静态图像的。
一般情况下,障碍物目标被确认后,并不会马上消失,其在序列图像中是连续存在的。
即障碍物目标的位置有一定的连续性,其特征有很大的相关性。
因此如果利用这种连续性和相关性,来对障碍物进行动态跟踪,势必比每一次都要搜索整个路面来探测要节省很多时间,从而可提高障碍物检测的实时性和可靠性。
图7所示的跟踪算法是一种递归的模板匹配法,采用此方法,建立AOI时不需要每次都进行车道检测和车辆探测,而是直接利用前一帧图像已获得的障碍物信息,在当前帧图像中寻找AOI。
模板匹配法采用的模板可以基于障碍物的边界、轮廓、灰度等特征。
由于边界、轮廓在很大程度上依
赖于特征提取算法,
计算时间也较长。
因此本文采用灰度特征模板。
用相关系数度量匹配程度,见式6。
图7 递归模板匹配跟踪算法框图
模板是动态变化的。
总是以前一帧图像中已确认的车辆矩形区域作为参考模板,在下一帧图像中,参考模板在原车辆位置附近一定范围内平移,并计算与相应区域的相关系数,系数越小,相关性越大。
相关性最大的区域即认为是车辆假设存在的区域。
即以此建立AOI。
ρ
k
(δx,δy=∑
X
A
x=0
∑
Y
A
y=0
Ik-1(x,y-Ik(x+δx,y+δy2
(6其中,x,y为模板中象素的相对坐标;
Ik(x,y为第k帧图像的灰度值;
XA,YA为模板的大小;
δx,δy为模板在下一帧图像中的平移。
试验结果表明,采用递归模板匹配法进行障碍物跟踪后,障碍物检测平均时间由42ms缩短为31ms。
5 结论
本文提出了障碍物探测和基于对称变换、对称性度量、矩形轮廓的障碍物确认识别方法,并采用递归模板匹配法对障碍物进行跟踪,以进一步提高算法的实时性。
试验表明本文提出的算法是有效可行的。
参考文献:
[1] 章毓晋.图像理解与计算机视觉.清华大学出版社,2000Ο08.
[2] 王荣本,李斌等.公路上基于车载单目机器视觉的前方车距测
量方法的研究.公路交通科技,2001(6.
[3] 容观澳.计算机图像处理.清华大学出版社,2000Ο02.
[4] ThomasKalinke,etal.ATextureΟbasedObjectDetectionandanAdap2
tiveModelΟbasedClassification.ProceedingsoftheIEEEIntelligentVe2
hiclesSymposium1998,1998Ο10:
143-148.
[5] 于明,柯有安.复杂背景中人脸图像的定位研究.河北工业大
学学报,1999(1.
基于机器视觉的智能车辆障碍物检测方法研究 李 斌等
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 机器 视觉 智能 车辆 障碍物 检测 方法 研究 概要