一种改进的立体摄像机标定方法_谭晓军
第35卷 第2期测 绘 学 报
Vol .35,N o .2
2006年5月
ACTA GEODAETICA et CARTOGRAPHICA S INICA M ay ,2006
文章编号:1001-1595(2006)02-0138-05中图分类号:P246 文献标识码:A
一种改进的立体摄像机标定方法
谭晓军,余 志,李 军
(中山大学工学院,广东广州510275)
An Improved Method of Stereo C amera C alibration
TA N Xiao -jun ,Y U Zhi ,LI Jun
(School of Engineer ing ,S un Yat -sen Univer s ity ,Gua ngz hou 510275,China )
A bstract :M ost traditional approaches of stereo camera calibration often require ex pensive calibration apparatuses and elabo rate setups ,w hich limits their practicability in many out -door applications .T he paper proposes a more flexible method to overcome this drawback .T he proposed scheme so lves the essential matrix and then calculates the relative positio n of the two cameras .Equation of the essential matrix is fo rmed by finding matched points in the image -pair and solved linearly .Experiments show that the calibration results o f the proposed method are better than that ob -tained by o ther fast calibration methods and can be compared with the traditional ones .Key words :stereo vision ;camera calibration ;essential matrix
摘 要:克服了传统的立体摄像机标定要求在摄像机前精确地配置标定物,过程繁复,户外实现较困难的弱点,提出一种改进标定方法,通过双目匹配点,线性地求解本质矩阵,快速找出摄像机的相对位置关系。实验表明,其精度与传统的方法相当,且优于其他的快速标定方法,可广泛应用于各种户外场合。 收稿日期:2004-08-10;修回日期:2006-01-03
基金项目:广东省科技计划项目(2004A10103002);中山大学青年教师科研启动基金(2005-39000-1131-027)作者简介:谭晓军(1977-),男,广东广州人,博士,讲师,从事计算机视觉、自动控制系统等领域的研究。
关键词:双目立体视觉;摄像机标定;本质矩阵
1 引 言
立体摄像机的标定一直是计算机视觉研究的一个重要课题。在标定方法中,较为传统的做法是精确分析摄像机的成像原理,建立模型,并考虑镜头畸变所引起的失真,通过观察摄像机前的标定物,确立匹配像素对,得到相关方程组。此类方法[1～4]需要在摄像机前放置多个立体的控制点,并需精确得到控制点的3维坐标。方程的解通常是经过多次迭代而求得,通过计算可以精确地得到摄像机的内方位参数(包括每台摄像机的等效焦距、主点位置等),也可以得到两台摄像机的之间的旋转平移关系,既适合于单个摄像机的标定,也适合于双目立体摄像机的标定。然而这类方法需要在控制点的配置、测量上做较多的工作,过程要求严密,通常需要在实验室内精确地进行操作。为简化标定的过程,近年来许多学者提出了各种简化的立体摄像机标定方法[5～8]。这些方法的特点是不需要控制点的绝对坐标,甚至不需
要控制点的相对坐标,通过几何约束关系来求解摄像机的参数。然而许多自标定的方法都存在局限,有的方法需要加入伺服电路精确控制摄像机运动[5]
,有的方法标定精度不足[6]
,有的方法需要在摄像机前多次、多角度地放置控制点[7,8]。
本文提出的方法可以看作是以上方法的一种折中。标定的过程分两步进行:首先利用传统方法对单个摄像机的内参数进行标定,这个步骤可以在实验室内精确完成;然后再利用“本质矩阵”的性质,对立体摄像机系统中两台摄像机的相对位置关系进行标定,这个步骤可以在两台摄像机安装以后进行。这种新的方法不仅可以充分考虑到立体视觉系统中每个摄像机存在的非线性失真,具有与传统方法相当的精度,同时双目标定不限于实验室环境,具有简化标定方法的灵活性。
2 摄像机模型
2.1 单个摄像机模型
图1所示的是单个摄像机的成像模型[3],其
中使用了4个坐标系:
1.世界坐标(World coo rdinate sy stem ),即图中的O w -x w y w z w 。在世界坐标系中3维空间中的一点可以表示为P w =(x w ,y w ,z w )。
2.摄像机坐标,即图中的O -x c y c z c 。该坐标系以镜头的光心为原点,光轴为z 轴。摄像机坐标系上的一点可以表示为P c =(x c ,y c ,z c )。
3.摄像机成像平面坐标,即图中的O i XY 。这是基于成像平面建立的2维坐标系,成像平面与光轴垂直,与光心的距离为摄像机的焦距f 。
4.计算机图像坐标系。这是以像素为单位长度的一个坐标系,图像上的某一点记为P f =(X f ,Y f )
。
图1 单个摄像机模型Fig .1 Sing le camera modeling
找出3维世界坐标的点P w =(x w ,y w ,z w )与2维图像坐标的点P f =(X f ,Y f )的对应关系,就是单个摄像机标定所要解决的问题。其对应关系可以分为4个步骤。
1.世界坐标到摄像机坐标的变换。由于两个坐标系都是3维直角坐标系,变换的形式满足
P c =R 0P w +T 0
(1)
其中,R 0是一个3×3的矩阵,反映旋转关系,T 0是一个三元素列向量写成3×1的矩阵形式,反映平移关系。
2.摄像机坐标到成像平面坐标的变换。利用针孔模型可以将3维的摄像机坐标变换为理想的(不考虑畸变的)图像坐标P u =(X u ,Y u ),其转换关系为
X u =f x c
z c
, Y u =f y c z
c (2)
其中,f 是摄像机的等效焦距。
3.考虑镜头的径向畸变,将非畸变的坐标变换为畸变坐标。在大多数的实际应用中,径向畸变是造成非线性函数关系的主要原因。考虑径向
畸变后,得到的坐标记为P d =(X d ,Y d ),转换关系为
X d +D x =X u ,Y d +D y =Y u
(3)
其中,D x =X d (κ1r 2+κ2r 4+Λ),D y =Y d (κ1r
2+κ2r 4+Λ),r =X 2d +Y 2d 。
4.真实的图像坐标到计算机图像坐标的转换。其转换关系为
X f =h x X d +C x ,Y f =h y Y d +C y
(4)
其中,C x ,C y 是主点在计算机图像坐标系中的坐标,h x ,h y 反映了两个坐标系转换时横、纵坐标分别满足的线性关系。
以上,R 0,T 0,f ,κ1,κ2,h x ,h y ,C x ,C y 都是传统的单个摄像机标定所要求解的参数。其中R 0,T 0称为外部参数,反映的是摄像机的空间位置,f ,κ1,κ2,h x ,h y ,C x ,C y 称为内部参数。2.2 双目模型
在双目摄像机系统中,每个摄像机都分别符合2.1所描述的成像模型。而通过单个摄像机模型,可以分别知道左、右摄像机的图像点与3维世界坐标的点的对应关系,即P w =(x w ,y w ,z w )※
P f 1=(X f 1,Y f 1)及P w =(x w ,y w ,z w )※P f 2=(X f 2,Y f 2)的对应关系已分别知道。而双目标定所需要解决的问题是两个摄像机坐标系之间的对应关系,即P c 1=(x c 1,y c 1,z c 1)与P c 2=(x c 2,y c 2,z c 2)之间的转换关系。而由于它们分别属于3维直角坐标系,因此它们之间的转换包含有旋转以
图2 双目摄像机模型Fig .2 Stereo camera modeling
139
第2期 谭晓军等:一种改进的立体摄像机标定方法
及平移的关系,形如
P c1=
R P c2+
T(5)其中,旋转矩阵R以及平移向量T就是双目标定所要求解的内容。
3 本质矩阵的基本原理
3.1 符号说明
1.对左摄像机成像平面的2维坐标P u1= (X u1,Y u1),对应于摄像机坐标系的P c1=(X u1, Y u1,f1)点,将其改写为齐次向量的形式u1= (X u1/f1,Y u1/f1,1)T;同理,对右摄像机,u2= (X u2/f2,Y u2/f2,1)T;
2.把3维的世界坐标亦记作齐次向量的形式x=(x w,y w,z w,1)T;
3.依照式(1)(2),世界坐标到成像平面的2维坐标的变换都是线性的,因此可以把左右摄像机的针孔成像过程写成以下的矩阵形式:u1= A1x,u2=A2x,其中,A1,A2都是3×4的矩阵;
4.为下面讨论方便起见,把A i看作是一个方阵与一个向量的组合,即A1=(M1-M1T1)和A2=(M2-M2T2),其中M i是3×3的方阵,T i是3×1的向量;
5.运算符号:
向量t=(t x,t y,t z)T,定义运算
[t]×Δ=
0-t z t y t z0-t x -t y t x0
定义Ψ1≈Ψ2表示两个矩阵Ψ1,Ψ2只相差一个比例因子,即Ψ1=kΨ2,k为实数。不难看出,这样定义的符号“≈”满足交换性和传递性。
3.2 本质矩阵及其性质
使用3.1节的记号方法,把左右摄像机成像平面的坐标分别记为向量形式,u1=(X u1/f, Y u1/f1,1)T,u2=(X u2/f2,Y u2/f2,1)T。文献[9]指出,必然存在一个3×3的方阵Q,使得u T1Q u2=0,矩阵Q被称为本质矩阵。如何利用Q求解两台摄像机的相对位置关系呢?下面先考察本质矩阵的性质。
定理1:若左右摄像机的投影矩阵分别是A1 =(M1-M1T1)和A2=(M2-M2T2),那么相应于这两台摄像机的本质矩阵为Q≈(M T2)-1M1[M1(T2-T1)]×。
由这个定理知道,本质矩阵Q可以分解为一个满秩的方阵R与一个反对称矩阵S的乘积,即
Q≈RS。以下的定理表明,这样的分解几乎是惟一的(最多相差一个尺度因子)。
定理2:若一个3×3的方阵Q能够有两种的分解方法Q=R1S1≈R2S2,其中S i是非零反对称矩阵,R i是满秩的方阵,那么必然有S1≈S2,并且,如果S i=[t]×,那么R2≈R1+at T,a是某个3维的向量。
定理3:若左右摄像机的相对位置固定,{A1, A2}和{A1′,A2′}是两组不同的投影矩阵,那么{A1,A2}和{A1′,A2′}对应于相同的本质矩阵Q 当且仅当存在着一个满秩的4×4的方阵H,使得P1H≈P1′且P2H≈P2′。
以上三条定理的详细证明可以参考文献[8]和[9]。
3.3 利用本质矩阵标定双目摄像机
上一节的定理反映了一个事实:两台摄像机的相对位置关系与本质矩阵几乎是等价的。即给定了两台摄像机的相对位置关系R和T,就给定了系统的本质矩阵Q;反之,给定了本质矩阵Q,两台摄像机的旋转平移关系R和T也几乎确定了,最多相差一个比例常数因子。“几乎”的意思就是R和T的确定还需要标定一个比例因子k。
文献[10]给出了一个方便的通过Q求解R 和T的方法,即先把Q进行特征值分解(SVD),得Q=UD V T,根据上节定理1,得到
R=UG V T,[t]×=VZV T
其中,G=
0-10
100
001
,Z=
0-10
100
000
,而t 是把平移矩阵T的3个元素看成向量。
如此,我们确定了旋转和平移关系的基本形式R,T。而R,T与R,T相差一个比例因子k,即R=k R,T=k T,k的标定,可以借助世界坐标中已知距离的两个点P w′=(x w′,y w′,z w′)和P w″=(x w″,y w″,z w″)。
3.4 本质矩阵的求解
本小节给出一种新的本质矩阵的求解方法。与已有的算法(如文献[11])相比,新方法显得更容易理解和实现。
本质矩阵Q的定义u T1Qu2=0本身就是求
解的依据。假设u(i)
1
,u(i)
2
是左右眼匹配点坐标
构成的向量,记为u(i)
1
=(u(i)
1
,v(i)
1
,1)T和
140测 绘 学 报 第35卷
u (i )2=(u (i )2,v (i )2,1)T ,满足u (i )
1Qu (i )2
=0,展开,得
u (i )1u (i )2q 11+u (i )1v (i )2q 21+u (i )1q 31+v (i )1u (i )2q 12
+v (i )1v (i )2q 22+v (i )1q 32+u (i )2q 13+v (i )2q 23+q 33
=0(6)
其中,q 11,q 12,…,q 33为矩阵Q 的9个元素,也是要求解的未知数。一般地,可以代入9个匹配点的坐标组成方程组来求解。但根据线性代数理论,这是一个齐次方程组,当系数矩阵的行列式为零时,有无穷多解。仔细考察可以发现,若找到一个特解Q 0,那么通解的形式是Q =λQ 0。下面我们只需要找到这样的一个特解Q 0。
令q 33=1,则式(6)变为
u (i )1u (i )2q 11+u (i )1v (i )2q 21+u (i )1q 31+v (i )1u (i )2q 12+v (i )1v (i )2q 22+v (i )1q 32+u (i )2q 13+v (i )2q 23=-
1(7)
则方程组不再是齐次的,而存在惟一的解。下面用最小二乘法来求得方程组的解。
在左右眼找到N 个匹配点{u (i )1}和{u (i )
2}
,i =1,K ,N 代入式(7),得到一个过约束方程组
Aq =-b
其中,A 是N ×8的系数矩阵,q =(q 11,q 12,…,
q 32)T 是一个8×1的解向量,b 是一个N ×1的
列向量,其每个元素都是“1”。则过约束方程组的解为
q =-(A T A )-1A T
b
如此,就求得了Q 的一个特解Q 0,Q =λQ 0。这里,λ是一个待定的常数,它的确定可以结合3.3小节的待定常数k 一起进行。
4 标定过程
根据前文阐述的标定的基本原理,标定的具体步骤如下:
1.利用传统的方法分别对左右两台摄像机的内参数进行标定。控制点通过精确打印的棋盘图案提取,该图案沿平行于光轴方向多次放置,精
确记录下各次放置的位置。文献[3]详细介绍了标定图案的放置方法与计算过程。
2.把已完成单目标定的两台摄像机安装到实际系统中,固定。
3.分别在左右影像中确立匹配像素对,列出方程,并依照3.4节解出本质矩阵Q 。匹配点的
位置没有严格要求,但力求分布均匀。同时,因为
方程的求解用了最小二乘法,所以匹配点的数量越多,方程的解越精确。为了精确地在图像上提取匹配点,建议使用一种被广泛采用的类似于棋
盘的方格图案,如图3所示,图中1-4表示同一图案4次的摆放位置。控制点的分布根据两台摄像机的基线长度而定,尽可能遍布摄像机的公共视角。第5节的实例中,摄像机的基线长度为1m ,所用图案的面积为1.6m ×1.2m 。
4.根据3.3节的原理求出两个摄像机的相对位置 R 和 T ,待定比例因子k 。
5.最后,标定比例因子k 。具体做法为,首先,设定两个标志点,测出它们的距离d 0;其次,通过 R 和 T 求出其在摄像机坐标系下的距离 d ,因为 R 和 T 是k 的线性函数,所以 d 也是k 的线形函数,即 d =f (k )。解一个一次的线性方程(f (k )=d 0)即可得到比例因子k 。
图3 标定控制点的放置Fig .3 Placement of the co ntrol points
5 实验数据分析
本节通过一个实例来检验本文所提出的方法,把用本文的方法标定的结果与另外两种被广
泛认可的有代表性的方法进行比较,第一种是传统的双目标定方法[3],第二种是简化的标定方法[8]
。三次的标定和检验过程都在同一个实验室环境内进行,外部条件相同。实验过程描述如下:①安装两台摄像机,基线距离1m ,严格固定,保证实验过程中没有相对位移;②分别利用传统的方法、本文的方法、自标定的方法对摄像机进行标定,记录下不同方法所得到的摄像机参数;③在摄像机前放置检验物,左右摄像机各拍摄一幅图像,构成图像对{I 1,I 2};④利用相同的图像对,根据不同方法所得到的摄像机参数,对检验物的3维坐标进行测量,比较测量结果,结果如5.1,5.2节所述。整个实验过程,摄像机位置不变,光照等客观条件不变。
141
第2期 谭晓军等:一种改进的立体摄像机标定方法
5.1 影像残差分析
计算影像残差的具体步骤为:先利用左右两幅图像求出检验物的3维坐标P w,再把这个P w 重新分别投影到左右图像中,把得到的像素值与真实的像素值相减,得到像素差。以下是三次测量的影像残差的比较。检验的点数为308个。
表1 3种标定方法的重定位余差比较,横坐标
Tab.1 C omparison of residual erro rs:X-axis
/pixels 传统的方法本文的方法自标定方法左图像右图像左图像右图像左图像右图像最大值 0.0214 0.1879 0.0012 0.0682 2.1015 2.2233最小值-0.1074-0.2953-0.2532-0.0027-1.9136-2.0942标准差 0.0162 0.0728 0.0404 0.0085 0.9363 0.8901
表2 3种标定方法的重定位余差比较,纵坐标
Tab.2 C omparison of residual errors:Y-axis
/pixels 传统的方法本文的方法自标定方法左图像右图像左图像右图像左图像右图像最大值 0.3846 0.3382 0.1274 0.5417 1.5654 1.2872最小值-0.3415-0.3303-0.6468-0.1287-1.4477-1.2376标准差 0.1569 0.1537 0.1310 0.1168 0.8451 0.7481
5.2 反演位置相对偏差比较
分别在左右图像找匹配点P f1和P f2,利用标定结果反演计算出物体的3维世界坐标P w,并与真值进行比较P w0。再把得到的距离差除以测量
距离z w,得到相对偏差Δr=(P w-P w0)
z w
×
100%,比较如下。
表3 反演位置相对偏差比较(N=308)
Tab.3 Relative error of the re-positions
传统的方法本文的方法自标定方法最大值0.8143% 0.2600% 1.1171%
最小值0.0434%-0.2800%-1.6468%
标准差0.1723% 0.1537% 0.6342%
6 结 论
从实验结果可以看出,利用本文方法进行摄像机标定的精度与传统方法标定的精度相当,而明显高于自标定的方法。同时,利用本方法进行立体摄像机标定时,不需要精确地知道标定物的3维坐标,在灵活性上又优于传统方法。因此,本文的方法兼有高精度和灵活性,具有相当高的实用价值,适用于实验室外的许多实际应用场合。
参考文献:
[1] FAIG W.Calibration of Close-range Photogrammetric S ys-
tems:M athematical Formulation[J].Photog ram metric Eng
Remote s ens ing,1975,41(12):1479-1486.
[2] GANAPATHY S.Decompos ition of Transformation M atrices
for Robot Vision[A].Proceedings of InternationalConference
on Robotics and Automation[C].[s.l.]:[s.n.],1984.130-
139.
[3] TSAI R Y.A Versatile Camera C alibration Technique for
High-Accuracy3D M achine Vision M etrology Using Off-the-
shelf TV Cameras and Lens es[J].IEEE Jou rnal of Robotics
and Automation,1987,3(4):323-344.
[4] W ENG J,COHEN P,H ERNIOU M.Camera Cal ibration
w ith Distortion M odels and Accuracy Evaluation[J].IEEE
T rans PAM I,1992,14(10):965-980.
[5] M AYBANK S J,FAUGE R AS O D.A Theory of S elf-cal ibra-
tion of a M oving Camera[J].T he International Journal of
Computer Vision,1992,8(2):123-152.
[6] FAUGERAS O,LUONG Q T,et al.Camera S elf-cal ibration:
Theory and Experiment[A].Proceedings of Eu ropean Confer-
ence on Computer Vision[C].S antaM argerita:Springer-Ver-
lag,1992.321-334.
[7] BOUGUET J Y.Camera Calibration Toolbox[EB/OL].
http://ww w.vis https://www.sodocs.net/doc/268526099.html,/bouguetj/calib-doc/. [8] HARTLEY R.Estimation of Relative Camera Positions for
Uncal ib rated Cameras[A].Proceedings of IEEE Conference
on Computer Vision and Pattern Recognition[C].[s.l.]:[s.
n.],1992.761-764.
[9] LONGUET-HIGGINS H C.A Computer Algorithm for Re-
constructing a Scene from Tw o Projections[J].Natu re,1981,
293(10):133-135.
[10] SONKA M,HLAVAC V,et a l.Image Process ing,Analy-
sis and M achine Vision(2nd Edition)[M].New York:
T homson Press,2002.460-469.
[11] HART LEY R I.In Defence of the8-point Algorithm[A].
Proceedings of the5th International Conference on Computer
Vision[C].London:Cambridge,1995.1064-1070. [12] ZHANG Z.Fl exibl e Camera Calibration by Viewing a Plane
from Unknow n Orientations[A].Proceedings of ICCV
[C].[s.l.]:[s.n.],1999.666-673.
[13] XIE WH,ZHANG ZX.Camera Calibration Bas ed on Van-
is hing Points of M ulti-image[J].Acta Geodaetica et Carto-
g raphica Sinica,2004,33(4):335-340.(谢文寒,张祖勋.
基于多像灭点的相机定标[J].测绘学报,2004,33(4):
335-340.)(责任编辑:张燕燕)
142测 绘 学 报 第35卷
摄像机标定方法综述
摄像机标定方法综述 摘要：首先根据不同的分类方法对对摄像机标定方法进行分类，并对传统摄像机标定方法、摄像机自标定方法等各种方法进行了优缺点对比，最后就如何提高摄像机标定精度提出几种可行性方法。 关键字：摄像机标定，传统标定法，自标定法，主动视觉 引言 计算机视觉的研究目标是使计算机能通过二维图像认知三维环境，并从中获取需要的信息用于重建和识别物体。摄像机便是3D 空间和2D 图像之间的一种映射，其中两空间之间的相互关系是由摄像机的几何模型决定的，即通常所称的摄像机参数，是表征摄像机映射的具体性质的矩阵。求解这些参数的过程被称为摄像机标定[1]。近20 多年，摄像机标定已成为计算机视觉领域的研究热点之一，目前已广泛应用于三维测量、三维物体重建、机器导航、视觉监控、物体识别、工业检测、生物医学等诸多领域。 从定义上看，摄像机标定实质上是确定摄像机内外参数的一个过程，其中内部参数的标定是指确定摄像机固有的、与位置参数无关的内部几何与光学参数，包括图像中心坐标、焦距、比例因子和镜头畸变等；而外部参数的标定是指确定摄像机坐标系相对于某一世界坐标系的三维位置和方向关系，可用3 ×3 的旋转矩阵R 和一个平移向量t 来表示。 摄像机标定起源于早前摄影测量中的镜头校正，对镜头校正的研究在十九世纪就已出现，二战后镜头校正成为研究的热点问题，一是因为二战中使用大量飞机，在作战考察中要进行大量的地图测绘和航空摄影，二是为满足三维测量需要立体测绘仪器开始出现，为了保证测量结果的精度足够高，就必须首先对校正相机镜头。在这期间，一些镜头像差的表达式陆续提出并被普遍认同和采用，建立起了较多的镜头像差模型，D.C.Brown等对此作出了较大贡献，包括推导了近焦距情况下给定位置处径向畸变的表达式及证明了近焦距情况下测得镜头两个位置处的径向畸变情况就可求得任意位置的径向畸变等[2]。这些径向与切向像差表达式正是后来各种摄像机标定非线性模型的基础。随着CCD器件的发展，现有的数码摄像机逐渐代替原有的照相机，同时随着像素等数字化概念的出现，在实际应用中，在参数表达式上采用这样的相对量单位会显得更加方便，摄像机标定一词也就代替了最初的镜头校正。
基于靶标平面相机参数动态标定Matlab程序
基于靶标平面相机参数动态标定Matlab程序 ★注意：直接运行bd.m文件即可进行动态标定，附录Ⅲ中的其它函数文件均会被bd.m文件调用；坐标数据由实验获取。 bd .m %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % M为靶标角点的世界坐标数据，m1—m5为5组图像像素坐标数据；本函数为主函数，它将数据赋值给函数Dtbd（M,m）实现相机动态标定。 clc; clear; M=load('Model.txt'); %Model.txt中为靶标角点的世界坐标，由实验测得 m1=load('data1.txt'); m2=load('data2.txt'); m3=load('data3.txt'); m4=load('data4.txt'); %data1.txt—data5.txt中为不同视角所对应的角点图像坐 %标，可用附录Ⅱ中的程序测得 m5=load('data5.txt');%Model.txt为靶标的世界坐标 M=[M(:,1:2) ; M(:,3:4) ; M(:,5:6) ; M(:,7:8)]; m1=[m1(:,1:2) ; m1(:,3:4) ; m1(:,5:6) ; m1(:,7:8)]; m2=[m2(:,1:2) ; m2(:,3:4) ; m2(:,5:6) ; m2(:,7:8)]; m3=[m3(:,1:2) ; m3(:,3:4) ; m3(:,5:6) ; m3(:,7:8)]; m4=[m4(:,1:2) ; m4(:,3:4) ; m4(:,5:6) ; m4(:,7:8)]; m5=[m5(:,1:2) ; m5(:,3:4) ; m5(:,5:6) ; m5(:,7:8)]; M=M'; % 将靶标平面上角点的世界坐标写入矩阵M中，M为2维矩阵m(:,:,1)=m1'; m(:,:,2)=m2'; m(:,:,3)=m3'; m(:,:,4)=m4'; m(:,:,5)=m5'; % 将5个视角对应的图像像素坐标写入矩阵m中，m为3维矩阵Dtbd(M,m) % 调用Dtbd .m文件进行动态标定%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% Dtbd .m %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % Dtbd(M,m)函数实现的功能正是本论文中第4章所讲述的动态标定技术，它引入了径向畸变和切向畸变，具体标定过程可参照本论文。 function Dtbd(M,m) [rows,npts]=size(M); matrixone=ones(1,npts); M=[M;matrixone]; num=size(m,3); for i=1:num
双目立体相机自标定方案的研究
双目立体相机自标定方案的研究 一、双目立体相机自标定原理 双目视觉是通过两个摄像机从不同的角度拍摄同一物体，根据两幅图像重构出物体。双目立体视觉技术首先根据已知信息计算出世界坐标系和图像坐标系的转换关系，即世界坐标系和图像坐标系的透视投影矩阵，将两幅图像上对应空间同一点的像点匹配起来，建立对应点的世界坐标和图像坐标的转换关系方程，通过求解方程的最小二乘解获取空间点的世界坐标系，实现二维图像到三维图像的重构。重构的关键问题是找出世界坐标系和图像坐标系的转换关系--透视投影矩阵。透视投影矩阵包含了图像坐标系和相机坐标系的转换关系，即相机的内参（主要是相机在两坐标轴上的焦距和相机的倾斜角度），以及相机坐标系和世界坐标系的转换关系，即相机的外参（主要是相机坐标系和世界坐标系的平移、旋转量）。相机标定的过程就是确定相机内参和相机外参的过程。 相机自标定是指不需要标定块，仅仅通过图象点之间的对应关系对相机进行标定的过程。相机自标定技术不需要计算出相机的每一项参数，但需要求出这些参数联系后生成的矩阵。二、怎样提高摄像机自标定精确度？ 方法一、.提高估算基本矩阵F 传统的相机自标定采用的是kruppa方程，一组图像可以得到两个kruppa方程，在已知3对图像的条件下，就可以算出所有的内参数。在实际应用中，由于求极点具有不稳定性，所以采取基本矩阵F分解的方法来计算。通过矩阵的分解求出两相机的投射投影矩阵，进而实现三维重构。由于在获取图像过程中存在摄像头的畸变，环境干扰等因素，对图像会造成非线性变化，采用最初提出的线性模型计算 f 会产生误差。非线性的基本矩阵估计方法得到提出。近年来非线性矩阵的新发展是通过概率模型降低噪声以提高估算基本矩阵的精度。方法二、分层逐步标定法。 该方法首先对图像做射影重建，再通过绝对二次曲线施加约束，定出仿射参数和摄像机参数。由于它较其他方法具有较好的鲁棒性，所以能提高自标定的精度。 方法三、利用多幅图像之间的直线对应关系的标定法。 方法四、改进优化算法 自标定问题的求解可归结为求解一组非线性多项式方程组的问题，解决这类问题的常用方法是各种优化算法，所以改进优化算法也是提高精度的有效措施。 英文文献 1.题目：A Camera Self-calibration for Machine Vision Based on Kruppa’s Equation（基于机器视觉的相机自标定Kruppa方程） 作者：Zhaosheng Tao, Dawei Tu, Saisai He, Jinjie Ye 出处：Trans Tech Publ 日期：2013年8月 2.题目：Computer vision methods for optical microscopes（计算机视觉光学显微镜的方法） 作者：M. Boissenin, J. Wedekind *, A.N. Selvan, B.P. Amavasai, F. Caparrelli, J.R. Travis 出处：Elsevier 日期：2007年7月
基于OpenCV的CCD摄像机标定方法_雷铭哲_孙少杰_陈晋良_陶磊_魏坤
ＭｅｔｈｏｄｏｆＣＣＤＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎＢａｓｅｄＯｎＯｐｅｎＣＶ ＬＥＩＭｉｎｇ－ｚｈｅ１，ＳＵＮＳｈａｏ－ｊｉｅ２，ＣＨＥＮＪｉｎ－ｌｉａｎｇ１，ＴＡＯＬｅｉ１，ＷＥＩＫｕｎ１ （１．North Automation Control Technology Institute ，Taiyuan ０３０００６，China ； ２．Navy Submarine Academy ，Qingdao ２６６０４２，China ）Ａｂｓｔｒａｃｔ： Ｃｏｍｐｕｔｅｒｖｉｓｉｏｎｈａｓｂｅｅｎｗｉｄｅｌｙｕｓｅｄｉｎｉｎｄｕｓｔｒｙ，ａｇｒｉｃｕｌｔｕｒｅ，ｍｉｌｉｔａｒｙ，ｔｒａｎｓｐｏｒｔａｔｉｏｎａｒｅａａｎｄｓｏｏｎ．Ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎｉｓｖｅｒｙｉｍｐｏｒｔａｎｔａｎｄａｌｓｏｔｈｅｋｅｙｒｅｓｅａｒｃｈｆｉｅｌｄｏｆｖｉｓｉｏｎｓｙｓｔｅｍ．ＴｈｉｓｐａｐｅｒｍａｉｎｌｙｒｅｓｅａｒｃｈｅｓｏｎｔｈｅｍｅｔｈｏｄｏｆＣＣＤｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ，ｔｈｅｐｉｎ－ｈｏｌｅｍｏｄｅｌｈａｓｂｅｅｎｉｎｔｒｏｄｕｃｅｄａｎｄａｐｐｌｉｅｄｉｎｐｒｏｃｅｓｓｏｆｃａｌｉｂｒａｔｉｏｎ．Ｓｐｅｃｉａｌｌｙ，ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙ，ｂｏｔｈｒａｄｉａｌａｎｄｔａｎｇｅｎｔｉａｌｌｅｎｓｄｉｓｔｏｒｔｉｏｎｈａｖｅｂｅｅｎｔａｋｅｎｉｎｔｏａｃｃｏｕｎｔｄｕｒｉｎｇｔｈｅｉｍｐｌｅｍｅｎｔｏｆｃａｌｉｂｒａｔｉｏｎｂａｓｅｄｏｎＯｐｅｎＣＶ．Ｔｈｉｓｋｉｎｄｏｆａｒｉｔｈｍｅｔｉｃｈａｓｐｒａｃｔｉｃａｌｖａｌｕｅｏｎｔｈｅａｐｐｌｉｃａｔｉｏｎｄｅｓｉｇｎｏｆｉｍａｇｅｐｒｏｃｅｓｓｉｎｇａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ａｎｄｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗｇｏｏｄｐｒｅｃｉｓｉｏｎ，ｗｈｉｃｈｃａｎｍｅｅｔｔｈｅａｐｐｌｉｃａｔｉｏｎｎｅｅｄｏｆｖｉｓｕａｌｉｎｓｐｅｃｔｉｏｎｏｒｏｔｈｅｒｖｉｓｉｏｎｓｙｓｔｅｍｓｗｅｌｌ． Ｋｅｙｗｏｒｄｓ： ｐｉｎ－ｈｏｌｅｍｏｄｅｌ，ｃａｍｅｒａｃａｌｉｂｒａｔｉｏｎ，ｌｅｎｓｄｉｓｔｏｒｔｉｏｎ，ＯｐｅｎＣＶ摘要： 计算机视觉在工业，农业，军事，交通等领域都有着广泛应用。摄像机标定是视觉系统的重要环节，也是研究的关键领域。以摄像机标定技术为研究对象，选取针孔成像模型，简述了世界坐标系、摄像机坐标系和图像坐标系及其相互间的位置关系，对标定过程进行了深入研究。特别地，为提高标定精度，充分考虑了透镜径向和切向畸变影响及其求解方法，制作了棋盘格平面标定模板，基于开放计算机视觉函数库（ＯｐｅｎＣＶ）实现了摄像机标定。该标定算法能够充分发挥ＯｐｅｎＣＶ函数库功能，对于图像处理与计算机视觉方面的应用设计具有实用价值。实验结果表明该方法取得了较高精度，能够满足视觉检测或其他计算机视觉系统的应用需要。 关键词：针孔模型，摄像机标定，透镜畸变，ＯｐｅｎＣＶ中图分类号：Ｓ２１９ 文献标识码：Ａ 基于ＯｐｅｎＣＶ的ＣＣＤ摄像机标定方法 雷铭哲1，孙少杰2，陈晋良1，陶 磊1，魏坤1 （１．北方自动控制技术研究所，太原０３０００６；２．海军潜艇学院，山东青岛２６６０４２ ）文章编号：１００２－０６４０（２０１４） 增刊－００４９－０３Ｖｏｌ．３９，Ｓｕｐｐｌｅｍｅｎｔ Ｊｕｌ，２０１４ 火力与指挥控制 ＦｉｒｅＣｏｎｔｒｏｌ＆ＣｏｍｍａｎｄＣｏｎｔｒｏｌ第３９卷增刊 引言 摄像机标定是计算机视觉系统的前提和基础，其目的是 确定摄像机内部的几何和光学特性（内部参数）以及摄像机 在三维世界中的坐标关系（外部系数） ［１］ 。考虑到摄像机标定在理论和实践应用中的重要价值，学术界近年来进行了广泛的研究。 摄像机标定方法可以分为线性标定和非线性标定，前者简单快速，精度低，不考虑镜头畸变；后者由于引入畸变参数而使精度提高，但计算繁琐，速度慢，对初值选择和噪声敏感。本文将两者结合起来，采用由粗到精策略，以实现精确标定。 １摄像机模型 本文选取摄像机模型中常用的针孔模型［２－３］，分别建立三维世界坐标系（O w X w Y w Z w ），摄像机坐标系（O c X c Y c Z c ）及图像平面坐标系（O １xy ） 如下页图１所示。其中摄像机坐标系原点O c 为摄像机光心，Z c 轴与光轴重合且与图像平面垂直，O c O １为摄像机焦距f 。图像坐标系原点O １为光轴与图像平面的交点，x ，y 轴分别平行于摄像机坐标系X c 、Y c 轴。设世界坐标系中物点P 的三维坐标为（X w ，Y w ，Z w ），它在理想的针孔成像模型下图像坐标为P （X u ，Y u ），但由于透镜畸变引起偏离［４－５］，其实际图像坐标为P （X d ，Y d ）。图像收稿日期：２０１３－０９－２０修回日期：２０１３－１１－１０ 作者简介：雷铭哲（1977-），男，湖北咸宁人，硕士。研究方向：故障诊断系统。 ４９··
三维重建综述
三维重建综述 三维重建方法大致分为两个部分1、基于结构光的（如杨宇师兄做的）2、基于图片的。这里主要对基于图片的三维重建的发展做一下总结。 基于图片的三维重建方法： 基于图片的三维重建方法又分为双目立体视觉；单目立体视觉。 A双目立体视觉： 这种方法使用两台摄像机从两个(通常是左右平行对齐的，也可以是上下竖直对齐的)视点观测同一物体，获取在物体不同视角下的感知图像，通过三角测量的方法将匹配点的视差信息转换为深度，一般的双目视觉方法都是利用对极几何将问题变换到欧式几何条件下，然后再使用三角测量的方法估计深度信息这种方法可以大致分为图像获取、摄像机标定、特征提取与匹配、摄像机校正、立体匹配和三维建模六个步骤。王涛的毕业论文就是做的这方面的工作。双目立体视觉法的优点是方法成熟，能够稳定地获得较好的重建效果，实际应用情况优于其他基于视觉的三维重建方法，也逐渐出现在一部分商业化产品上;不足的是运算量仍然偏大，而且在基线距离较大的情况下重建效果明显降低。 代表文章：AKIMOIO T Automatic creation of3D facial models1993 CHEN C L Visual binocular vison systems to solid model reconstruction 2007 B基于单目视觉的三维重建方法: 单目视觉方法是指使用一台摄像机进行三维重建的方法所使用的图像可以是单视点的单幅或多幅图像，也可以是多视点的多幅图像前者主要通过图像的二维特征推导出深度信息，这些二维特征包括明暗度、纹理、焦点、轮廓等，因此也被统称为恢复形状法（shape from X） 1、明暗度（shape from shading SFS） 通过分析图像中的明暗度信息，运用反射光照模型，恢复出物体表面法向量信息进行三维重建。SFS方法还要基于三个假设a、反射模型为朗伯特模型，即从各个角度观察，同一点的明暗度都相同的;b、光源为无限远处点光源;c、成像关系为正交投影。 提出：Horn shape from shading：a method for obtaining the shape of a smooth opaque object from one view1970(该篇文章被引用了376次) 发展：Vogel2008年提出了非朗伯特的SFS模型。 优势：可以从单幅图片中恢复出较精确的三维模型。 缺点：重建单纯依赖数学运算，由于对光照条件要求比较苛刻，需要精确知道光源的位置及方向等信息，使得明暗度法很难应用在室外场景等光线情况复杂的三维重建上。 2、光度立体视觉（photometric stereo） 该方法通过多个不共线的光源获得物体的多幅图像，再将不同图像的亮度方程联立，求解出物体表面法向量的方向，最终实现物体形状的恢复。 提出：Woodham对SFS进行改进（1980年）：photometric method for determining surface orientation from multiple images(该文章被引用了891次) 发展：Noakes：非线性与噪声减除2003年； Horocitz：梯度场合控制点2004年； Tang：可信度传递与马尔科夫随机场2005年； Basri：光源条件未知情况下的三维重建2007年； Sun：非朗伯特2007年； Hernandez：彩色光线进行重建方法2007年；
摄像机标定程序使用方法
一、材料准备 1 准备靶标： 根据摄像头的工作距离，设计靶标大小。使靶标在规定距离范围里，尽量全屏显示在摄像头图像内。 注意：靶标设计、打印要清晰。 2图像采集： 将靶标摆放成各种不同姿态，使用左摄像头采集N幅图像。尽量保存到程序的debug->data文件夹内，便于集中处理。 二、角点处理（Process菜单） 1 准备工作： 在程序debug文件夹下，建立data，left，right文件夹，将角探测器模板文件target.txt 复制到data文件夹下，便于后续处理。 2 调入图像： File->Open 打开靶标图像 3 选取角点，保存角点： 点击Process->Prepare Extrcor ，点击鼠标左键进行四个角点的选取，要求四个角点在最外侧，且能围成一个正方形区域。每点击一个角点，跳出一个显示角点坐标的提示框。当点击完第四个角点时，跳出显示四个定位点坐标的提示框。 点击Process->Extract Corners ，对该幅图的角点数据进行保存，最好保存到debug->data-> left文件夹下。命名时，最好命名为cornerdata*.txt，*代表编号。 对其余N-1幅图像进行角点处理，保存在相同文件夹下。这样在left文件夹会出现N 个角点txt文件。 三、计算内部参数（Calibration菜单） 1 准备工作： 在left文件夹中挑出5个靶标姿态差异较大的角点数据txt，将其归为一组。将该组数据复制到data文件夹下，重新顺序编号，此时，文件名必须为cornerdata*，因为计算参数时，只识别该类文件名。 2 参数计算： 点击Calibration->Cameral Calibrating，跳出该组图像算得的摄像机内部参数alpha、beta、gama、u0、v0、k1、k2七个内部参数和两组靶标姿态矩阵，且程序默认保存为文件CameraCalibrateResult.txt。 3 处理其余角点数据文件 在原来N个角点数据文件中重新取出靶标姿态较大的5个数据文档，重复步骤1和2；反复取上M组数据，保存各组数据。 注意：在对下一组图像进行计算时，需要将上一组在data文件夹下的5个数据删除。 四、数据精选 1 将各组内部参数计算结果进行列表统计，要求|gama|<2，且gama为负，删掉不符合条件的数据。 2 挑出出现次数最高的一组数据。
相机标定个人总结
本文是一篇关于相机标定意义和原理的个人总结，包含了OpenCV和Matlab中常用的相机标定函数的注解。 相机标定是机器视觉的基础，标定结果的好坏直接决定了机器视觉的系统精度，作用可见一斑。在这一年半的时间里，我个人也是随着实验和程序的进一步理解，对标定的原理和意义有了更多的想法。同样，由于博文的关系，仍有一些朋友会常常询问标定的程序问题。本人的2010-05-17OpenCV标定程序的问题也多次被朋友询问，由于当时对标定的认识还不够系统，因此现在认为该文对标定的意义和原理有很多误解，并在此推荐一些较好的博文拱大家学习： 双目测距与三维重建的OpenCV实现问题集锦（一）图像获取与单目标定； 双目测距与三维重建的OpenCV实现问题集锦（二）双目标定与双目校正； 双摄像头测距的OpenCV实现； 分享一些OpenCV实现立体视觉的经验； 下面结合本人的毕业论文及一年半来对机器视觉的学习，对相机标定的意义和原理进行叙述。 1.单目相机模型 单目相机模型中的三种坐标系关系如图1所示，相机坐标系即是以光轴中心O为原点的坐标系，其z轴满足右手法则，成像原点 f O所代表平面即为像平面坐标系（实际应用中，均以图像左上角为坐标系原点），实际物体坐标系即为世界坐标系。 光轴中心O 图1 单目相机模型的三坐标系统关系 其中，P在世界坐标系的值为() W W W X,Y,Z，P u 是P在像平面坐标系的投影点，其相机 坐标系的值为(X,Y,Z) u u u 。θ是相机坐标系Z轴与像平面夹角，一般情况下Z轴与像平面垂直，θ值为90。且相机坐标系x y O与像平面 f f f x y O平行，f为相机的焦距。
【CN110033491A】一种相机标定方法【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910299209.5 (22)申请日 2019.04.15 (71)申请人 南京工程学院 地址 211167 江苏省南京市江宁科学园弘 景大道1号 (72)发明人 郝飞 王宗荣 史晶晶 王帆 陈德林 胡运涛 汪海洋 张汝祥 (74)专利代理机构 南京纵横知识产权代理有限 公司 32224 代理人 董建林 范青青 (51)Int.Cl. G06T 7/80(2017.01) (54)发明名称一种相机标定方法(57)摘要本发明公开了相机标定技术领域的一种相机标定方法。旨在解决现有技术中基于一维标定杆标定精度较低，基于三维标定模板标定存在自遮挡问题，基于棋盘格形二维标定模板标定需进行角点检测而无法获取更高的标定精度，基于单个圆形图案作为特征的二维标定模板标定存在“原理性误差”。所述方法包括如下步骤：根据预制的标定模板采集标定模板图像；提取标定模板图像中的特征点，求解相机内参数及镜头畸变参数；根据相机内参数和镜头畸变参数构建多维向量；利用镜头畸变参数对所述标定模板图像进行去畸变处理并构建新的多维变量，直至相邻两次多维变量的欧式距离小于设定值，输出最后一次 相机内参数及畸变参数。权利要求书1页 说明书6页 附图5页CN 110033491 A 2019.07.19 C N 110033491 A
权 利 要 求 书1/1页CN 110033491 A 1.一种相机标定方法，其特征在于，所述方法包括如下步骤： 将预制的标定模板置于待标定相机的视场内，采集标定模板图像；所述标定模板为二维标定模板，标定模板上分布有多个圆形，多个圆形以标定模板的中心点为环心围成多个直径不同的环形阵列； 提取标定模板图像中圆形的特征点，求解相机内参数及镜头畸变参数；所述特征点为圆形的圆心； 根据相机内参数和镜头畸变参数构建多维向量； 利用镜头畸变参数对所述标定模板图像进行去畸变处理，重复相机内参数及畸变参数的求解过程，并构建新的多维变量，直至相邻两次多维变量的欧式距离小于设定值，输出最后一次相机内参数及畸变参数。 2.根据权利要求1所述的相机标定方法，其特征在于，所述特征点的提取方法包括： 对标定模板图像中的圆形进行边缘检测，利用最小二乘法拟合圆环透视投影后产生的两个椭圆； 连接两个椭圆圆心的直线与每个椭圆形成两个交点，采用交比不变原理求解特征点像点的像素坐标。 3.根据权利要求2所述的相机标定方法，其特征在于，所述特征点的提取方法还包括：对标定模板图像进行预处理，所述预处理包括灰度化处理和或滤波处理。 4.根据权利要求1所述的相机标定方法，其特征在于，所述相机内参数包括：主点坐标的两个分量、横向和纵向缩放因子； 所述相机内参数的求解方法包括： 在标定模板图像上标定四个圆形的特征点，利用四个特征点之间的几何约束和定量关系建立关于相机内参数的四元方程组，所述方程组为无约束非线性方程组； 求解无约束非线性方程组，得到相机内参数。 5.根据权利要求1所述的相机标定方法，其特征在于，所述求解镜头两个畸变参数包括如下步骤： 标定一组特征，所述特征包括标定模板图像中满足调和共轭的三个特征点和一个无穷远点； 根据调和比建立关于两个畸变参数的超定方程组； 运用最小二乘法求解超定方程组，得到镜头两个畸变参数。 6.根据权利要求1至中5任一项所述的相机标定方法，其特征在于，所述设定值≤10-5。 2
机器视觉中的摄像机定标方法综述
机器视觉中的摄像机定标方法综述 吴文琪,孙增圻 (清华大学计算机系智能技术与系统国家重点实验室,北京100084) 摘要:回顾了机器视觉中的各种摄像机定标方法,对各种方法进行介绍、分析,并提出了定标方法的发展方向的新思路。 关键词:机器视觉;摄像机定标;三维重建;镜头畸变 中国法分类号:TP387文献标识码:A文章编号:1001-3695(2004)02-0004-03 Overvie w of Camera Calibration Methods for Machine Vision WU Wen-qi,SUN Zeng-qi (State Key L aborato ry o f Intellige nt Tec hnology&Syste ms,Dept.o f Co mpute r Science&Technology,Tsinghua Universit y,Bei jing100084,China) Abstract:In this paper,themethods for camera calibration are reviewed,anal yzed and compared.Furthermore,the develop ment of the camera calibration is discussed. Key w ords:Machine Vision;Camera Calibration;3D Reconstruction;Lens Distortion 1引言 在机器视觉的应用中,如基于地图生成的视觉、移动机器人的自定位、视觉伺服等的应用中,从二维图像信息推知三维世界物体的位姿信息是很重要的。目前已经出现了一些自定标和免定标的方法,这些方法在比较灵活的同时,尚不成熟[1],难以获得可靠的结果。通过摄像机的定标重建目标物三维世界目标物体仍然是重要的方法。 摄像机定标在机器视觉中决定: (1)内部参数给出摄像机的光学和几何学特性% %%焦距,比例因子和镜头畸变。 (2)外部参数给出摄像机坐标相对于世界坐标系的位置和方向,如旋转和平移。 在机器人的视觉应用中,目标物位姿信息获取通常有一定的精度要求,机器人视觉系统的性能很大程度上依赖于定标精度。 随着计算机性能的快速提高,低价位CCD摄像机的大量使用,计算机定标方法也得到了不断的改进。 2摄像机模型 摄像机的投影几何模型可以看作这样一个过程,把三维世界透视投影到一个球面(视球),然后把球面上影像投射到一个平面P,理想情况下,平面P关于光轴中心对称。从图像中心点出发到投射平面点的距离r(A)与光轴夹角A的关系有五种模型,每种都有其自己有用的特性[2]。 其成像简图如图1所示。 图1成像简图 2.1透视模型 透视模型公式为 r(A)=k tan A 理想状况下可以等价为小孔成像。许多最近的算法和判断不同算法的优劣的依据都是基于这个假设。但是,透视投影只是表示了视球的前半部。要是不在光轴的附近,物体的形状和密度都会发生畸变。这种模型符合人的视觉感受,理想情况下,直线投影仍为直线。透视模型在定标方法中被广泛采用,在视角不大的镜头情况下比较符合实际情况。 在视角比较大时,透视模型通过对镜头畸变进行校正来修正模型。根据镜头光学成像原理,畸变的模型为D x (x,y)=k1x(x2+y2)+(p1(3x2+y2)+2p2xy)+s1(x2+y2) D y (x,y)=k2x(x2+y2)+(p2(3x2+y2)+2p1xy)+s2(x2+y2) 式中,D x,D y是非线性畸变值,D x,D y的第一项称为径向畸 # 4 #计算机应用研究2004年 收稿日期:2002-11-18;修返日期:2003-03-22
halcon单相机标定详细说明
相机标定 1 相机标定基本原理 1.1 相机成像模型 目前大多数相机模型都是基于针孔成像原理建立的，因为针孔成像原理简单，并且能满足建模的要求。除此之外还有基于应用歪斜光线追踪法和近轴光线追踪法的成像模型[1]。针孔成像虽然已经展示出了相机的成像原理，但是由于针孔成像是理想的物理模型，没有考虑相机本身的尺寸、镜头与相机轴心的偏斜等因素的影响，因此精度很低，不能满足工业机器视觉的要求。为了使相机模型能高精度的反应相机的实际成像过程，需要再针孔成像模型的基础上考虑镜头畸变等的因素。 图1 针孔成像 基于针孔成像原理建立的相机的成像模型，如下图所示。在相机的成像模型中，包含有几个坐标系分别是世界坐标系、相机坐标系、图像坐标系，相机的成像过程的数学模型就是目标点在这几个坐标系中的转化过程。 图2 针孔成像模型 （1）世界坐标系(X w,Y w,Z w)，就是现实坐标系，是实际物体在现实世界中的数学描述，是一个三维的坐标空间。 （2）摄像机坐标系（X c, Y c），以针孔相机模型的聚焦中心为原点，以摄像机光学轴线为Z c轴 （3）图像坐标系：分为图像像素坐标系和图像物理坐标系 为了便于数学描述将图像平面移动到针孔与世界坐标系之间。如下图所示。
图3 将相机平面移至针孔与目标物体之间后的模型 1.2 坐标系间转换 从世界坐标系到相机坐标系： P(X c ，Y c ，Z c )=R(α，β，γ)?P(X w ，Y w ，Z w )+T 每一个世界坐标的对象都可以通过旋转和平移转移到相机坐标系上。将目标点旋转θ角度，等价于将坐标系方向旋转θ。如下图所示，是二维坐标的旋转变换，对于三维坐标而言，旋转中绕某一个轴旋转，原理实际与二维坐标旋转相同。如果，世界坐标分别绕X ，Y 和Z 轴旋转α，β，γ，那么旋转矩阵分别为R (α)，R (β)，R (γ) 图4 坐标旋转原理 R (α)=[10 00cosα ?sinα0sinαcosα] （1-1） R (β)=[cosβ 0sinβ0 10?sinβ 0cosβ ] （1-2）
一种双目立体视觉相机标定方法
万方数据
万方数据
第３期李春艳等：一种双目立体视觉相机标定方法?５３? 表ｌ相机内参数的稳定性测试结果 表２相机外参数的稳定性测试结果外参数数值／ｍｍ外参数数值／（”） ＡＸ。０．１０４５７９△∞９．３６５９７ △ｙ１０．０８７６４５△∞１７．４６６９１ ＡＺ。０．０５５６６２△ｋ２．９９７４２８ 从表１和表２可看出： ①内方位元素（并。，Ｙ。，ｆ）的稳定性测试结果的ＲＭＳ较大，对测量精度的影响较大； ②径向畸变参数墨对测量结果的影响不显著； ③主距，的变化超过５ｐｉｘｅｌ，稳定性差，主点位置（‰，Ｙ。）５次实验值的变化不超过１ｐｉｘｅｌ； ④外参数中３个旋转参数（△（￡．，△９，ｚｉｋ）稳定性差，而平移参数（ｚＸＸ。，ＡＹ。，ＡＺ。）变化较小，即相机外参数的标定精度主要取决于３个旋转参数的精度． ２．２相机标定精度的验证 为了验证相机标定结果的有效性，将标定后得到的外方位元素和内参数代入式（６），则此时式（６）中只含有物方点坐标未知数，即可用多幅图像前方交会平差方法计算出各个物方点的坐标． 利用标定的相机结果，使用相机对不同距离处的视场内分布的２４个空间物方点进行坐标测量．将相机测得的点坐标与经纬仪工业测量系统测得的相应点坐标进行比较，统计其差值即可验算标定结果的有效性＂一，详细结果见表３． 由于经纬仪工业测量系统测得的点坐标精度优于０．０５ｍｍ，因此可将其测得的坐标视为真值，而将相机测得的坐标与经纬仪工业测量系统测得的相应点坐标之差定为测量误差． 表３不同距离处空间点坐标的测量结果 ?注：ｓ。．＝√（ａｘ）２＋（△ｙ）２＋（△ｚ）２ 从表３可以看出： ①不同距离处，ｘ方向与，，方向测量精度优于Ｚ方向（即相机摄影方向）测量精度； ②随着相机测量距离的增大，测量精度会降低； ③相机测试空间点坐标的总测量误差取决于点坐标Ｚ方向的测量精度； ③相机在１．５ｍ测量距离处测量精度优于１．３３２ｍｍ，３．５ｍ钡ｌＪ量距离处测量精度优于３．８３７ｍｍ，６ｍ测量距离处测量精度优于７．１４７ｍｍ，９ｍ测量距离处测量精度优于２１．２２７ｍｍ． ２．３极线误差分析 在月球车导航控制系统中，两个相机是固定在一个定长的基线上进行工作的，在工作过程中相机的相对位置和姿态不发生变化，因此利用两相机的外参数可将相机拍摄的图像沿极线方向进行重复采样，生成消除上下视差后的极线图像∞１． 图２为左右相机拍摄的标志点原始图像，对左、右图像进行极线校正，最终可生成消除上下视差后的极线图像．比较左右极线图像中对应的同名点坐标，可得到极线校正误差曲线。如图３所示． 图２左右相机原始图像 万方数据
一种多相机视觉测量系统的全局标定方法
一一第39卷一第5期一吉首大学学报(自然科学版)V o l.39一N o.5一一一一2018年9月J o u r n a l o f J i s h o uU n i v e r s i t y(N a t u r a l S c i e n c eE d i t i o n)S e p t.2018一一 文章编号:10072985(2018)05003808 一种多相机视觉测量系统的全局标定方法? 黄东兆,赵前程 (湖南科技大学机械设备健康维护湖南省重点实验室,湖南湘潭411201) 一一摘一要:提出了一种基于双平面靶标的多相机全局标定方法,要求两靶标之间为刚性联接,绕同一根轴旋转,但它们之间的相对位姿关系可以是未知的.该方法不仅适用于立体视觉测量系统,也适用于基于单目视觉的多相机测量系统,应用于四轮定位仪中多相机相对位姿关系的出厂标定,标定精度满足出厂要求. 关键词:多相机测量系统;全局标定;视觉测量;单目视觉 中图分类号:T P391.7一一一一一一一文献标志码:A D O I:10.13438/j.c n k i.j d z k.2018.05.009 单个相机都受一定的视野范围限制,为了满足高精度二宽视野的工业测量任务,通常需要用多个相机组建一个具有更大视觉空间范围的测量系统.对每个相机进行内参标定,只能在单个相机坐标系下建立视觉测量模型.由于各相机坐标系彼此独立,因此所有相机的测量结果需要统一到其中一个相机坐标系或一个全局坐标系中来表达.统一的过程被称为多相机测量系统位姿关系的全局标定.通常使用 金规校准 (需1个制作精确的标准件作为参考基准)与 银规校准 (需1个经过坐标测量机标定后的标准件作为参考基准)对多相机系统进行全局标定,但在日常搬运中要防止标准件不受损害是相当困难的.因此,张广军[1]提出了使用双电子经纬仪或单电子经纬仪加靶标进行全局标定的方法.该方法精度高,但电子经纬仪价格昂贵,普适性受限.其他一些方法[23]无需贵重仪器,但仅适用于立体视觉测量系统,不能应用于单目视觉系统.多相机测量系统全局标定的本质是确定系统中相机两两之间的相对位姿关系[4],只要任意两相机间的相对位姿关系确定了,就完成了多相机系统的全局标定.笔者提出了一种基于双平面靶标的两相机相对位姿关系的标定方法,在阐述其原理的基础上通过仿真标定与实际标定实验来验证其可行性. 1一基于双平面靶标的两相机间相对位姿关系的标定方法 1.1原理 多相机全局标定装置如图1所示,两靶标之间为刚性联接.两相机的位姿关系的标定如图2所示. 图1一多相机全局标定装置 F i g.1一 G l o b a lM u l t i-C a m e r aC a l i b r a t i o nD e v i c e 图2一两相机间相对位姿关系的标定 F i g.2一T w o-C a m e r aC a l i b r a t i o n f o rR e l a t i v eP o s eR e l a t i o n ?收稿日期:20180322 基金项目:国家自然科学基金资助项目(51345009);湖南省自然科学基金资助项目(13J J4082) 作者简介:黄东兆(1978 ),男,安徽桐城人,湖南科技大学讲师,博士,主要从事机器视觉测量二数控技术等研究.
基于OpenCV的摄像机标定的应用研究
38562009,30(16)计算机工程与设计Computer Engineering and Design 0引言 机器视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大多数条件下，这些参数必须通过实验与计算才能得到，这个过程称为摄像机标定(或定标)。标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着机器视觉的精度。迄今为止，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决[1-5]。对摄像机标定的研究来说，当前的研究工作应该集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。 OpenCV是Intel公司资助的开源计算机视觉(open source computer vision)库，由一系列C函数和少量C++类构成，可实现图像处理和计算机视觉方面的很多通用算法。OpenCV有以下特点： (1)开放C源码； (2)基于Intel处理器指令集开发的优化代码； (3)统一的结构和功能定义； (4)强大的图像和矩阵运算能力； (5)方便灵活的用户接口； (6)同时支持Windows和Linux平台。 作为一个基本的计算机视觉、图像处理和模式识别的开源项目，OpenCV可以直接应用于很多领域，是二次开发的理想工具。目前，OpenCV的最新版本是2006年发布的OpenCV 1.0版，它加入了对GCC4.X和Visual https://www.sodocs.net/doc/268526099.html,2005的支持。 1摄像机标定原理 1.1世界、摄像机与图像坐标系 摄像机标定中有3个不同层次的坐标系统：世界坐标系、摄像机坐标系和图像坐标系(图像像素坐标系和图像物理坐标系)。 如图1所示，在图像上定义直角坐标系 开发与应用
吕小斌相机内部参数标定装置设计正
第一章前言 1.1 课题背景 相机内参数标定作为实现机械视觉测量的首要环节，机械视觉在各类检验、工业自动化生产线、视觉导航、3D四轮定位等多个领域得到广泛应用。高精度的相机标定能获得高精度的机器视觉测量。相机标定确定相机模型是参数的过程，参数主要是内部参数，内部参数是相机本身固有的与光、电以及几何结构有关的参数。本论文的主要目的就是对相机内参数的标定装置进行设计与计算，确定相机在不同的机构作用下所能完成的功能，同时提高相机内部参数的标定精度。相机内参数标定从视觉数目方面进行分类，主要有三种主要类型：单目视觉、双目视觉和多视角视觉，从标定方法方面进行分类，主要有传统标定法和创新标定法，不同的方法对应不同的相机模型，相机模型大多可以分为以下两中类型，线性模型和非线性模型。日常生活中所见到的针孔模型为线性模型，是研究者在基于光学成像原理上的进行抽象表达之后的成果。因为相机前镜头在生产过程和安装时，会产生一定程度的变形，这种变形被称为相机畸变。所以线性模型在没有精益的制造技术和高精密的安装技术下很难展现相机成像原理。研究者为了更进一步展现相机的成像原理过程，把相机镜头畸变纳入研究的范围中。相机镜头畸变对相机内参数标定精度有着不可轻视的影响，此外，相机内参数标定的精度还取决于标定方法、标靶的表面制造精度、提取图像特征点坐标的精度等多个因数。现在世界上对相机内参数标定的方法研究方向主要有一下几大方向， 1）标定速度 2）简单的实验环境 3）价格低廉的实验器材以及较高的标定精度。因此确定精确的相机模型以及减少各因素对标定参数精度的影响，构成了相机内参数标定研究的主要内容。 本论文主要研究内容就是采用一种简单方便的方法确定相机的位姿关系；然后对DLT标定法、Tsai两步法以及基于平面靶标标定的张正友法进行研究，再设计装置来对这些标定方法进行试验，最终确定最好的标定方法。 1.2国内外研究现状 人类大多数是通过视觉来获取外界信息，视觉信息量巨大，体现了人类视觉功能的重要性。随着信息技术发展，人们通过计算机等实验器材来实现人类的视觉功能，同时，对机器视觉的要求也越来越高。自20世纪50年代以来，虽然还未实现使相机视觉领域像人类等生物那样灵活、高效和通用的视觉，但现有的视觉理论和技术不断的得到提高和发展，这使得人类正逐步的逼近梦想，实现梦想。 20世纪50年代到60年代，机器视觉从二维图像的分析到三维场景为目的的三维视觉研究。期间，B.allert H在1966年首次将最小二乘法引用到相机标定中，并应用在立体坐标测量仪中。到70年代，出现一些视觉应用系统。1971年，del A b和rara K a提出
相机标定方法
摄像机标定的方法和具体的步骤 1.理想的摄像机成像模型 在不考虑畸变的情况下，建立如图所示的摄像机模型。 物体到图像之间的转化，经历了下面四个坐标系的转换： 1.三维世界坐标系 O X Y Z w w w w 这是基于不存在误差的基础上建立的坐标系，是一个理想的模型。这是后两个模型 的参考，可以作为对比的基础。 2.摄像机坐标系Oxyz 该坐标系的原点是摄像机的光心，CCD像平面到原点的距离为f，即理想成像系统 的有效焦距，坐标系的轴与光轴重合。 3.摄像机图像坐标系'O XY O，X轴、该二维坐标系定义在CCD像平面上，其中光轴与像平面的交点定义为原点' Ｙ轴分别平行于ｘ、ｙ轴。 4.计算机像平面坐标系Ouv 在这一坐标系中，原点在图像的左上角。这是一个建立在CCD像平面中的二维坐标 系，u轴和v轴组成坐标系，前者为水平轴，后者为垂直轴，方向向右、向下。 上面我们讨论的四个坐标系中，只有最后一个坐标系的单位是像素。前三者的单位 都是毫米。 一被测点P，其三维坐标为(x,y,z) ，摄像机坐标系为(x,y,z)，其经过拍摄后， w w w
在摄像机图像坐标系中的坐标为(X,Y)，最后得到计算机像面坐标系的坐标(u,v)，这四步的变换过程如下图所示： 一、刚体变换（从世界坐标系到摄像机坐标系） 在刚体变换过程中世界坐标系中的一点到摄像机坐标系中的点，可以由一个旋转矩阵R以及一个平移矩阵t来描述，则存在如下刚体变换公式： 其中R为3X3的旋转矩阵（），t是一个三维平移向量，化为其次坐标形式有：
二、透视投影（相机坐标系到理想图像物理坐标系） 根据针孔模型下透镜成像焦距f，物距u和相距v的关系，以及下图可得：（注意此时的点M是摄像机坐标系的点） y是理想图像物理坐标系坐标）将上面的关系式化成其次坐标式为：（注意：x, u u 三、畸变校正 在上面所有的坐标系公式推导的过程中，我们遵循的是线性摄像机模型，但是实际的摄像机由于镜头制作工艺等原因，使摄像机获取的原始图像是含有畸变的，畸变的图像的像点、投影中心、空间点不存在共线关系，所以如果要想直接运用线性模型来描述三维世界空间的点与像点之间的关系，必须先对畸变的图像进行校正。 畸变模型矫正公式为： y为针孔线性模型计算出来的图像点坐标的理想值，(x,y)是实际的图像点的坐(x,) u u