视觉伺服控制.docx
- 文档编号:11884192
- 上传时间:2023-06-03
- 格式:DOCX
- 页数:41
- 大小:564.92KB
视觉伺服控制.docx
《视觉伺服控制.docx》由会员分享,可在线阅读,更多相关《视觉伺服控制.docx(41页珍藏版)》请在冰点文库上搜索。
视觉伺服控制
有约束的无标定模型预测控制
在视觉伺服控制器的设计中,图像雅可比矩阵是建立运动学模型的关键。
经
典的IBVS采用比例控制律,它利用图像雅可比矩阵的逆(或伪逆)。
然而,比
例控制器可能存在局部极小问题。
也就是说,如果视觉特征数大于3,则图像雅
可比矩阵不是满秩的,图像误差可能存在于图像雅可比矩阵的逆(或伪逆)的零空
间中,从而导致局部收敛,使得最终的图像特征远离期望的图像特征。
另外,系
统约束处理困难,尤其是可见性约束。
当相机的初始位置和所需位置之间的距离
较大时,图像特征将不可见。
在视觉伺服控制过程中,可能会违反关节的物理限
制和机器人的工作空间。
此外,比例控制器的主要缺点是需要知道摄像机内参数、
摄像机外参数和特征点的深度参数,而这些特征点的精确值很难获得。
为了避免使用图像雅可比矩阵中元素的精确值,人们对图像雅可比矩阵的数
值估计进行了广泛的研究,如神经网络、迭代学习、拟牛顿方法和模糊控
制。
文献提出了许多基于深度无关交互(或图像雅可比)矩阵的自适应
控制器,以克服深度限制问题。
文献首次针对摄像机参数未知且深度随时间
变化的固定摄像机构型,提出了与深度无关的交互矩阵。
文献提出了眼在手
和固定眼构型的自适应视觉跟踪控制的统一设计方法。
然而,这些方案没有明确
考虑系统约束,而这些约束对于视觉伺服控制器的设计是至关重要的。
已经提出了许多方法来处理有约束的视觉伺服任务。
例如路径规划、非线性
反馈等,但大多需要给定摄像机的外部参数,并且假定摄像机的内部参数和深度
信息是已知的。
在IBVS中,通常采用模型预测控制(ModelPredictiveControl,
MPC)来处理系统约束,且MPC控制器具有在未知影响和模型误差的情况下对
系统进行控制的能力。
因此,MPC算法可以用来设计无标定环境下的视觉伺服
控制器。
本章主要提出了一种新的基于MPC的IBVS设计方法,该方法明确地
考虑了系统的约束条件,能够有效地处理未知的摄像机参数和深度参数。
通过模
型预测控制获得控制输入,通过参数估计算法在线更新预测模型的未知参数,完
成视觉伺服任务。
有约束和无标定视觉伺服的预测模型
模型预测控制被用来处理未标定环境中眼在手上和眼在手外摄像机构型的
IBVS系统的控制约束。
在无标定的环境中,摄像机的内外参数和特征的三维坐
标是未知的。
为了通过MPC获得最优控制输入,需要找到一个预测模型来描述
系统的动态行为。
介绍了基于深度无关交互矩阵的预测模型。
在透视投影模型下,
特征点的图像坐标可以描述为:
sm(t)=c
1⎡cT⎤
⎢⎥
Z(t)⎣c2T⎦
⎡bx⎤
H⎢⎥
⎣1⎦
(4.1)
其中sm(t)=(u(t),v(t))T表示特征点在图像平面上的图像坐标。
特征点的深度用
c
Z(t)表示。
ciT表示透视投影矩阵C∈ℜ3*4的第i行向量,透视投影矩阵C∈ℜ3*4取
决于摄像机的内部参数和外部参数。
H表示机器人正向运动学的齐次变换矩阵,
和p分别是H的旋转矩阵和平移矢量。
在眼在手上摄像机构型中C=BHec,Hec
是摄像机外部参数矩阵,它表示末端执行器坐标系相对于摄像机坐标系的齐次矩
阵。
B是相机的内参数矩阵,由相机内部结构决定。
H=(Heb)-1,其中Heb为末端
执行器坐标系相对于机器人基坐标系的齐次矩阵。
bx是特征点在机器人基坐标
系的三维位置参数,bx是具有3个独立元素的常数向量。
在眼在手外构型中,
C=BHbc,其中Hbc是相机外参数矩阵,它表示机器人基坐标系相对于相机坐标
系的齐次矩阵的,H=Heb,bx是特征点在末端执行器坐标系中的三维位置参数。
通过对式(4.1)微分,有视觉变化与关节速度的关系:
sm(t)=
c
1
Z(t)
A(sm(t),q(t))q(t)
(4.2)
其中矩阵A(sm(t),q(t))∈ℜ2⨯n是与深度无关的相互作用矩阵,形式为:
çc2-v(t)c3⎪∂q(t)
⎛⎛bx⎫⎫
∂çHç⎪⎪
⎝1⎭
(4.3)
其中q(t)∈n*1表示机器人的关节角度,n是自由度。
约束视觉伺服大多是采用传统的图像雅可比矩阵,但是传统的图像雅可比矩
阵依赖于特征点的二维图像坐标、摄像机内部参数和图像中未实际测量的深度参
数。
在以前的基于传统图像雅可比矩阵的预测模型中,深度呈现非线性。
这里,基于深度无关交互矩阵的预测模型中的深度可以由未知的摄像机参数
和特征点的三维笛卡尔坐标线性表示。
深度cZ(t)可以由未知参数表示如下:
c
⎡bx⎤
⎣1⎦
(4.4)
基于预测控制的控制律设计应采用离散时间模型,而不是连续时间模型(4.2)。
每个特征点的离散状态空间模型可写为:
⎧x(k+1)=Fx(k)+G(k)uc(k)
⎨
其中F是2*2常数矩阵,G(k)是时变变量和未知常数参数的函数:
(4.5)
G(k)=
c
1
Z(k)
A(sm(k),q(t))Te
(4.6)
时变变量是特征点和机器人关节的二维图像坐标,且两者都可以测量。
未知
常数参数包括摄像机内部参数、摄像机外部参数和特征点的三维位置参数。
Te为
采样周期。
基于离散化的深度无关交互矩阵的预测模型用于设计预测控制律。
在
(4.5)中,sm可作为系统状态和输出,k为当前采样时间,uc(k)∈n*1表示控制输
入,即关节速度q(k)。
给定静态或动态的期望轨迹sd。
当sd为静态时,视觉伺服定位任务是将特征
点从图像平面上的初始位置带到期望位置。
当sd为随时间变化的动态轨迹时,视
觉伺服跟踪任务是使特征点在图像平面上跟踪期望的轨迹。
模型预测控制与在线参数估计
为了实现有约束和无标定环境下的视觉伺服控制任务,需要确定控制输入,
并在线更新预测模型的未知参数。
此外,MPC算法是在自适应控制的基础上发
展起来的,能够保持自适应控制利用过去的输入输出辨识系统模型的特点。
根据
控制论中的分离原理,分别计算控制输入和模型参数,更新系统模型,使系统状
态更接近实际。
在本节中,控制由MPC确定,并从模型参数的初始估计开始。
模型参数的估计值是在线更新的。
视觉伺服系统主要由最优控制模块和参数估计
模块两部分组成。
最优控制模块为机器人系统生成控制输入uc,其将当前图像特
征sm引导到期望的特征sd。
在参数估计模块中,基于特征sm的二维图像坐标和
关节角度的测量值来更新模型参数θ'。
机器人视觉系统的控制方案如图4.1所示。
Z(t)=c3TH⎢⎥
⎩sm(k)=x(k)
视觉伺服
约束
sd(k)
e
建模的深度
无关雅可比
最优控制
uc(k)
机器人
控制器
机器人
sm(k)
θˆ'
有约束无标定IBVS的模型预测控制
通过使用MPC,可以通过如下步骤实现控制:
(1)采用模型对IBVS系统的未来行为进行预测。
根据预测模型(4.5),图像
状态的预测可以根据最后m(m≤Np)个状态和控制输入来定义:
m
m
i=1
(4.7)
其中Np是预测范围。
该动态预测模型在每个采样时刻以有限的Np步预测特征点
sm。
用Nc表示控制水平,它表示控制输入的自由度数目[79]。
此外,Nc≤Np减少
了最优问题的自由度数目,提高了在线最优控制问题数值解的计算速度。
从
u(k+Nc+1)到u(k+Np+1),控制输入等于u(k+Nc)[80]。
更新模型参数将在下一
小节中提及。
预测模型在每个采样时间k在线更新。
(2)求解有限时间开环约束最优控制问题。
优化的目的是计算最优控制信号,
使图像特征达到期望的轨迹。
同时,满足了系统的约束条件。
IBVS系统约束包
括机器人约束和图像约束。
机器人约束主要包含机器人的物理约束,如关节边界、
关节速度饱和或关节加速度限制等,可视为系统的输入约束:
min
(4.8)
此外,还将工作空间限制和深度范围视为与机器人关节测量相关的机器人约
束。
q(k)∈{qmin,qmax}
(4.9)
图像约束是将特征保持在视场中或在图像平面中设置范围的可见性约束。
可
见性约束可以看作是系统的输出约束:
min
通过考虑IBVS系统的输入和输出约束的MPC策略可以写成:
∆Uc(k)
其中,∆Uc(k)表示控制输入变化的最优序列,为:
(4.10)
(4.11)
动态预测模型为:
T
T
(4.12)
sm(k+1)=sm(k)+
c
1
Z(k)
A(sm(k),q(t))Teuc(k)
(4.13)
ζ(k+i)=sd(k+i)-sm(k+i)
uc(k)=uc(k-1)+∆uc(k)
(4.14)
(4.15)
其中,sm是可以测量的模型状态和模型输出,sd是期望状态,ζ(k)是在时间
i∈[k+1,k+Np]时期望状态和预测状态之间的差。
关节速度约束:
q(k)∈{qmin,qmax}
关节速度约束的变化,可以有效地抑制关节速度的突变:
∆q∈{∆qmin,∆qmax}
式子(4.16)和(4.17)都是IBVS系统的输入约束。
sm(k)∈{smmin,smmax}
(4.16)
(4.17)
(4.18)
式子(4.18)表示可见性约束,它是IBVS系统的输出约束。
输入和输出约束
可以表示为控制输入∆Uc的变化的最优序列的函数。
要最小化的二次成本函数包括预测误差和控制输入变化的顺序,其描述为:
Np
i=1
Nc
i=1
T
(4.19)
其中第一项最小化有限预测范围Np上的预测状态sm和期望状态sd之间的误差。
第二项最小化有限控制范围Nc上控制输入的变化。
Q和
分别表示第一项和第
二项的对称加权矩阵。
对于在线约束优化问题,需要采用一种有效的算法进行求解。
利用序列二次
规划(SQP)算法计算约束条件下的可行解,得到Nc上控制输入∆Uc变化的最优序
minJ(ζ(k),∆Uc(k))
J(ζ(k),∆Uc(k))=∑(sd(k+i)-sm(k+i))TQ(sd(k+i)-sm(k+i))
列。
(3)获取每个采样时间的控制输入。
由于模型的不确定性和摄像机标定误差、
图像噪声、未知效应等干扰,最优控制序列∆Uc中的所有元素都不能作用于动态
系统。
实际上,(4.12)中的最优控制序列∆Uc的第一个元素是∆uc(k),∆uc(k)被
定义为当前时刻k的控制输入的最优变化,在下一个采样时刻,水平向前移动一
步,并且在更新输出度量和未知动态效应之后,整个优化过程重新开始[80]。
与最
优控制的全局优化策略不同,MPC算法采用滚动时域策略,对工业实际中的模
型失配和扰动进行补偿是实用和有效的。
此外,在(4.19)中,未来参考输入sd(k+i)是∀(k+i)∈[k+1;k+Np]时刻期望
的特征,sm(k)是当前时刻的可测量状态,这分别作用于预测控制律的前馈补偿
和反馈补偿。
因此,可以使用MPC来控制系统以实现高效的性能。
4.3.2参数估计
预测模型(4.5)是参数未知的不确定线性变参数(LPV)模型。
预测模型可以通
过基于机器人关节测量和图像特征的系统辨识算法进行辨识。
MPC选择控制输
入,以便系统根据期望的运动渐近地运行。
由于假设了特定的预测模型结构,因
此系统辨识问题被简化为参数估计问题[81]。
预测模型(4.5)中的未知参数集是透视投影模型(4.1)中的未知参数子集。
然
后,可以基于机器人关节和图像特征的测量值来估计透视投影模型(4.1)中的未
知参数,用于识别预测模型(4.5)。
透视投影模型可以重写为:
c
⎣v(t)⎦⎣c2⎦⎣1⎦
⎡u(t)⎤⎡cT⎤⎡bx⎤
(4.20)
如(4.4)所述,深度cZ(t)可以由未知参数重写为线性形式:
c
T
(4.21)
其中η=(r11,r21,r31,r12,r22,r32,r13,r23,r33,p1,p2,p3)T,η=(ηT,1)T,θi=(ci1bx1,ci2bx1,
T
rij(i=1,2,3,j=1,2,3)表示旋转矩阵
的(i,j)元素,ph(h=1,2,3)表示平移向量p
的第h个元素。
cij表示C的(i,j)元素,bxi是向量bx的第i个元素。
则(4.20)中的
常数未知参数个数为39个,分别是(4.20)左右侧未知摄像机参数和特征位置参数
的13个和26个独立乘积。
分析了过程为参数线性估计的情况下的参数估计问题。
也就是说,可以如下
重写模型(4.20):
Y(k)=ΦT(k)θ'
(4.22)
其中Φ(k)∈ℜl*2是矩阵,Y(k)∈ℜ2*1是向量。
Φ(k)和Y(k)都依赖于可测量的机器
Z(t)=ηθ3
人关节q(k)和可测量的图像特征sm(k)。
θ'∈ℜl*1是一个未知的参数向量,它依赖
于摄像机参数和特征位置参数的乘积。
利用辨识算法对(4.20)中的未知参数进行估计,需要保证39个未知参数中有
一个非零参数,并选择非零参数重新定义剩余的38个未知参数。
末端效应器坐
标系和摄影机坐标系之间沿z轴的平移向量是C的(3,4)元素,通常c34≠0。
未知
参数的数目l满足条件l≤38。
当l=38时,设θ=(θ1T,θ2T,θ3T)T,选择非零参数c34
重新定义剩余的38个未知参数θ',记为θ'=θc34,Y(k)=[u(k),v(k)]T。
可以得
到:
Φ(k)=⎢TT⎥
T
(4.23)
如果不存在零元素rij(i=1,2,3,j=1,2,3)和ph(h=1,2,3),则l等于38。
如果
rij=0,则可测量矩阵Φ(k)可以通过从ηT和ηT中去掉rij而得到。
如果ph=0,则
可测量矩阵Φ(k)可以通过从ηT和ηT中去掉ph而得到,从θ中去除cei(e=1,2,3)
可以得到θ'。
如果元素rij(i=1,2,3j=1,2,3)或ph(h=1,2,3)彼此成线性比例,则可
以通过将依赖于rij或ph的线性比例列组合为一列来获得可测量矩阵Φ。
因此,
θ'中要估计的参数个数满足l≤38。
可以采用多种参数估计方法来解决参数估计问题。
由于参数要在线更新,所
以使用递归方法。
采用递归最小二乘算法更新参数θ'。
可以通过最小化时间N处
的误差函数来确定参数:
N
k=0
(4.24)
其中,遗忘因子λ在范围λ∈(0,1]内。
通常,λ在范围λ∈[0.95,1]中选择,则赋
予最新数据更多权重[82]。
θ'的估计值更新如下:
其中,L(k)的值为:
θˆ'(k)=θˆ'(k-1)+L(k)[Y(k)-ΦT(k)θˆ'(k-1)]
(4.25)
其中,P(k)的值为:
L(k)=
T
P(k-1)Φ(k)
(4.26)
P(k)=
1
λ
I-L(k)ΦT(k)
(4.27)
其中L(k)是权重因子矩阵,P(k)是正定协方差矩阵。
一般地,θˆ'(0)=0l*1,
P(0)2Ill,其中α是一个足够大的正数,In*n是一个单位矩阵。
在每个采样时
刻,需要得到依赖于可测量机器人关节和图像特征的可测量矩阵Φ(k)。
然后,
⎡⎣⎦⎤P(k-1)
加权因子矩阵L(k)、估计θˆ'(k)和协方差矩阵P(k)可以分别由(4.26)、(4.25)和(4.27)
获得。
预测控制从模型参数θˆ'(0)的初始估计开始,并基于图像特征和机器人关节
的测量值来更新模型参数。
稳定性分析
本节分析了在所提出的方法控制下的机器人视觉系统的稳定性。
定理1:
考虑视觉伺服系统(4.5)服从系统的输入输出约束(4.16)-(4.18),如果
应用控制器(4.11)和参数估计算法(4.25)-(4.27),则系统输出{sm(k)}和输入{uc(k)}
有界,特征点的图像误差收敛到零:
lim[sm(k)-sd(k)]=0
k→∞
证明:
参数估计模型(4.22)可以表示为:
sm(k)=ΦT(k)θ'
其中sm(k)=Y(k)。
将图像误差定义为:
e(k)=sm(k)-sd(k)=ΦT(k)θ'-sd(k)
(4.28)
(4.29)
(4.30)
在成本函数收敛到零之前,∆uc(k)满足(4.29)。
如果成本函数收敛到零,则
∆uc(k)满足:
ΦT(k)θ'=sd(k)
(4.31)
显然,跟踪误差等于零。
如果∆uc(k)进入饱和状态,则(4.29)有效。
由于∆uc(k)
存在饱和,当系统参数发生较大变化时,控制输入不会发生较大变化。
此外,还
保证了输出{sm(k)}和输入{uc(k)}的有界性。
由于θ'未知,我们用以下公式替换(4.31):
ΦT(k)θˆ'=sd(k)
那么(4.31)可以重写为:
ΦTi(k)θˆ'=sdi(k)1≤i≤2
其中ΦTi(k)和sdi(k)分别是可测量矩阵ΦT(k)和期望输出sd(k)的第i行。
由于元素rij(i=1,2,3,j=1,2,3)与ph(h=1,2,3)是有界的,可以得到:
Φ1(k)≤m1+m2u(k)
Φ2(k)≤m1+m2v(k)
(4.32)
(4.33)
(4.34)
(4.35)
其中0≤m1<∞,0≤m2<∞。
假设期望轨迹是先验已知的,并且在所有时间k中
sd(k)≤m3<∞,可以得到:
ei(k)≥smi(k)-sdi(k)≥smi(k)-m3
(4.36)
其中ei(k)和smi(k)分别是e(k)和sm(k)的第i行。
显然,sm1(k)=u(k),sm2(k)=v(k)。
因此,建立了线性有界性条件:
Φ1(k)≤m1+m2(e1(k)+m3)
=M1+M2e1(k)
Φ2(k)≤m1+m2(e2(k)+m3)
=M1+M2e2(k)
式中0≤M1<∞,0≤M2<∞。
从[83]中,有:
(4.37)
(4.38)
lim
k→∞
2
1+2λmax[P(k-1)]Φi(k)
2
=0
(4.39)
其中λmax[P(k-1)]是P(k-1)的最大特征值。
建立了一致有界性条件:
0 0 (4.40) (4.41) 考虑(4.39),在一致有界条件(4.40),(4.41)和线性有界条件(4.37),(4.38)下, 有: k→∞ (4.42) 并且Φi(k)是有界的[83]。 假设在图像误差收敛到零之后,控制输入uc(k)、 控制输入∆uc(k)的变化和系统输出sm(k)不会进入饱和,则(4.31)是有效的。 从 (4.42)中,可以得出结论: k→∞ (4.43) 仿真结果 在本节,为了验证所提出的方法,仿真基于2自由度平面机器人,分别针对 眼在手上和眼在手外摄像机构型来执行视觉定位和跟踪任务。 第一和第二机械臂的长度分别为0.12m和0.10m,摄像机内参数如表4.1所 示,图像分辨率为1292×964。 为了将特征点保留在视场中,可见性约束定义为 以下不等式: ⎡umin=0⎤⎡umax=1292⎤ ⎥ (4.44) lim[ei(k)]=0 lim[sm(k)-sd(k)]=0 摄像机内部参数 Table4.1Camerainternalparametersmethods 参数 焦距(m) u轴图像平面偏移(pixel) v轴图像平面偏移(pixel) 图像u轴中的比例因子(pixel/m) 图像v轴中的比例因子(pixel/m) 值 0.005 646 482 269167 267778 关节速度的最大控制输入为0.25rad/s,关节速度的最大变化为0.05rad/s。 由 于摄像机以25帧/秒的帧速率拍摄图像,控制器的采样时间为40ms,采用SQP 优化算法(MATLAB优化工具箱中的fmincon函数)求解在线优化问题。 为了减 少计算时间,通过分别设置Np和Nc为3和2对快速响应和精度之间进行了权 衡。 初始协方差矩阵为P(0)=1010I,遗忘因子选择为λ=0.995。 摄像机内参数 的初始估计为uˆ0=500pixel,vˆ0=500pixel,αu=
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 视觉 伺服 控制
![提示](https://static.bingdoc.com/images/bang_tan.gif)