基于特征的图像对准:摄像机标定（Camera Calibration）

1 .第六章 基于特征的图像对准 

2 . 主要内容  摄像机标定（ Camera Calibration ）  图像对准 (ImageImage Alignment)  位姿估计 - 增强现实（ Augmented Reality ） 18/10/12 2 CV:Calibration 

3 . 摄像机标定 视觉系统框图 上图为标定过程，下图为三维重建过程 18/10/12 3 CV:Calibration 

4 . 摄像机标定 • 计算机视觉系统中的几种坐标 1. 像素坐标：图像阵列中的位置 2. 图像平面坐标：场景点在图像平面上 的投影坐标，以摄像机主点为原点 3. 摄像机坐标：以摄像机（观察者）为 中心的三维坐标 4. 绝对坐标（世界坐标）：绝对坐标系 中的三维坐标 18/10/12 4 CV:Calibration 

5 . 摄像机坐标系与世界坐标系 18/10/12 5 CV:Calibration 

6 .  透视投影方程： x y  f   x y z f f  点在图像平面中的位置 ：x  z x y  y z 18/10/12 6 CV:Calibration 

7 . 摄像机标定 • 确定点在不同坐标系中的相互关系 • 确定摄像机成像几何模型的参数 •传统标定方法 利用结构已知、精度很高的空间参照物 自标定方法 • 利用图像对应点的信息 18/10/12 7 CV:Calibration 

8 . 1. 传统的摄像机标定方法 特点 利用已知的景物结构信息。常用到标定块。 18/10/12 8 CV:Calibration 

9 . 1. 传统的摄像机标定方法  优点 可以使用于任意的摄像机模型，标定精度高  不足 标定过程复杂，需要高精度的已知结构信息。 在实际应用中很多情况下无法使用标定块。 18/10/12 9 CV:Calibration 

10 . 1.1 DLT 变换 Abdal-Aziz 和 Karara 于 70 年代初提 出了直接线性变换相机定标的方法，他们 从摄影测量学的角度深入的研究了相机图 像和环境物体之间的关系，建立了相机成 像几何的线性模型，这种线性模型参数的 估计完全可以由线性方程的求解来实现。 18/10/12 10 CV:Calibration 

11 . DLT 变换 直接线性变换是将像点和物点的成像几何关系在齐次坐标下 写成透视投影矩阵的形式： X w Xw u  Y  Y  s  v  K  R t   w  P34  w   Zw   Zw   1       1   1  其中  u , v,1 为图像坐标系下的点的齐次坐标， X w , Yw , Z w  为 世界坐标系下的空间点的欧氏坐标， 为 的透视投影矩 P 3 4 s 阵， 为未知尺度因子。 18/10/12 11 CV:Calibration 

12 . DLT 变换 P34  pij  消去 s，可以得到方程组 : p11 X w  p12Yw  p13 Z w  p14  p 31uX w  p 32 uYw  p 33uZ w  p 34 u 0 p 21 X w  p 22Yw  p 23 Z w  p14  p 31uX w  p 32 uYw  p 33uZ w  p 34 u 0 18/10/12 12 CV:Calibration 

13 . DLT 变换 当已知 N 个空间点和对应的图像上的点时，可以得到一个 含有 2*N 个方程的方程组： AL 0 其中 A 为 2N * 12  的矩阵，L 为透视投影矩阵元素组成的  p , p , p , p , p , p , p , p , p , 向量 11 12 13 14 21 22 23 24 31 32 33 34 。p , p , p  T 18/10/12 13 CV:Calibration 

14 . DLT 变换 相机定标的任务就是寻找合适的L ，使得|| AL || 为 最小，即 min || AL || L 2 2 2 给出约束：p 31 p 32 p 33 1 L'  (C T C )  1 C T B L' 为 L 的前 11 个元素组成的向量， C 为A 前 11 列组成的 矩阵，B 为A 第 12 列组成的向量。 18/10/12 14 CV:Calibration 

15 . 1.2 基于 RAC 约束的摄像机标定方法  属于两步标定法：先求解外部参数，再 求解内部参数  RAC=Radial alignment constraint 径向排列约束 方向 ri 方向 ri  18/10/12 15 CV:Calibration 

16 . RAC 两步法 ~ xi xi rxx xi  rxy yi  rxz zi  t x ~   yi yi ryx xi  ryy yi  ryz zi  t y rxx ~ rxy ~ rxz ~ ryx ~ ryy ~ ryz ~ tx ~ ~ y i xi  yi yi  yi z i  xi xi  xi y i  xi z i  y i  x i ty ty ty ty ty ty ty Z i 0 rxx ~ rxy ~ ryx ~ ryy ~ tx ~ ~ y i xi  yi yi  xi xi  xi y i  y i  x i ty ty ty ty ty 18/10/12 16 CV:Calibration 

17 . RAC 两步法计算过程 第一步： （ 1 ）根据标定点，形成方程组AU b rxx rxy ryx ryy t x 计算得到 u ( t , t , t , t , t ) y y y y y ai ( ~ y i xi , ~ y i y i , ~ xi xi ,  ~ xi y i , ~ yi ) b ( ~ x1 , ~ x 2 ,..., ~ xn ) （ 2 ）利用旋转矩阵的正交性，得到 2U  [U 2  4(u1u 4  u2u3 ) 2 ]1 2 t  y 2(u1u 4  u 2u3 ) 2 U u12  u 22  u 32  u 42 18/10/12 17 CV:Calibration 

18 . RAC 两步法计算过程 确定 t y 的符号，依据是 ~ xi 与 xi 符号相同，且 ~y i 与yi 符号相 同 先做正符号假设，取标定点，并计算 x rxx x  rxy y  t x y ryx x  ryy y  t y 如果结果符合符号相同的要求，则假设成立 ，否则不成立 （ 3 ）利用正交性和右手系特性，计算旋转 矩阵的其他参数。有两种解，须根据第二步 计算的摄像机常数进行选择。 18/10/12 18 CV:Calibration 

19 . RAC 两步法计算过程 第二步： （ 1 ）计算摄像机常数与平移 z 分量 yi ryx xi  ryy yi  t y dy~ yi yi  zi rzx xi  rzy yi  t z F zi r x yx i  r y yy i  t y  F  d ~ y t y i z  r x zx i  r y zy i  d ~ y yi Av b 求方程组得解 a i ( ryx xi  ryy y i  t y , d y ~ yi ) bi (rzx xi  rzy y i )d y ~ yi 18/10/12 v ( F , t z )T 19 CV:Calibration 

20 . RAC 两步法计算过程 第二步： （ 2 ）计算透镜变形系数 yi ryx xi  ryy yi  t y dy~ yi (1  1r 2 ) yi  zi rzx xi  rzy yi  t z F zi ~ 2 ryx xi  ryy yi  t y d y yi (1  1r ) F rzx xi  rzy yi  t z 用优化算法求解 18/10/12 20 CV:Calibration 

21 . RAC 两步法  简洁、快速、准确，避免了非线性的 优化搜索。适用于需要快速标定摄像 机的场合  因为标定点是在一个平面上，所以不 能确定比例系数．而且，图像中心位 置没有被标定 18/10/12 21 CV:Calibration 

22 . 1.3 摄像机标定的非线性方法  基本思想 : （ 1 ）测量标定点在图像平面上的投影位置 （ 2 ）计算出其与正确位置之间的偏移量 （ 3 ）将这些标定点测量值加到摄像机参数 模型方程 ( 每个标定点产生两个方程 ) （ 4 ）形成足够数量的方程，以求解所有未 知参数 （ 5 ）用非线性回归方法求解过定方程组 18/10/12 22 CV:Calibration 

23 . 摄像机标定的非线性方法  根据透视投影模型，有 x  xc rxx x a  rxy y a  rxz z a  t x   F z c rzx x a  rzy y a  rzz z a  t z y  y c ryx x a  ryy y a  ryz z a  t y   F zc rzx x a  rzy y a  rzz z a  t z  加入摄像机修正模型，有 (~ x  x p )(1  1r 2   2 r 4   3 r 6 ) rxx xa  rxy ya  rxz z a  t x  F rzx xa  rzy ya  rzz z a  t z (~ y  y p )(1  1r 2   2 r 4   3 r 6 ) ryx xa  ryy ya  ryz z a  t y  F rzx xa  rzy ya  rzz z a  t z 18/10/12 23 CV:Calibration 

24 . 摄像机标定的非线性方法  按欧拉角的旋转矩阵公式替换旋转 矩阵的所有元素  求解参数：旋转角 (3 个 ) 、在绝 对坐标系中摄像机的位置 (3 个 ) ，摄像机常数 (F)) ，主点位置的修 正量 (2 个 ) 、径向透镜变形的多 项式系数 (3 个 )  用非线性回归的方法求解 18/10/12 24 CV:Calibration 

25 .1.4 张正友平面标定方法 Yc M  X ,Y , 0  Zc O Yw Xc Zw m u , v  Ow Xw 

26 . 张正友方法 基本原理： X  u  Y  X  s v   K [r1 r2 r3 t ]    K [r1 r2 t ]Y  0  1    1  H 1  • 在这里假定模板平面在世界坐标系 Z 0 的平面上 ~ T • 其中， K 为摄像机的内参数矩阵， M [ X Y 1] 为模板平面上点的齐次坐标， ~ m [u v 1] T 为模 板平面上点投影到图像平面上对应点的齐次坐标，[ r1 r2 r3 ] t和 分别是摄像机坐标系相对于世界坐标系的旋转矩 阵和平移向量 18/10/12 26 CV:Calibration 

27 . 张正友方法 1 1 H [ h1 h2 h3 ]  K [ r1 r2 t ] r1  K  1h1 , r2  K  1h2   T 根据旋转矩阵的性质，即 r r 0 和 r1  r2 1 1 2 ，每幅图像可以获得以下两个对内参数矩阵的基本 约束 T  T  1 h1 K K h2 0 T T 1 T T 1 h K K h1 h K K h2 1 2 由于摄像机有 5 个未知内参数，所以当所摄取得的图像数 目大于等于 3 时，就可以线性唯一求解出K 18/10/12 27 CV:Calibration 

28 . 张正友方法 张正友方法所用的平面模板 18/10/12 28 CV:Calibration 

29 . 张正友方法  标定步骤 : (1) 制定一张平板棋盘格模板； (2) 移动平面或摄像机，从不同角度拍摄 若干张 ( 大于或等于 3 张 ) 模板图像； (3) 检测出每幅图像中的特征点 ; (4) 求出每一幅图像的单应矩阵 H ； (5) 在令畸变系数为 0 的前提下，利用求 出的矩阵 H 计算出摄像机的内参数； (6) 利用反投影法进一步优化求精，同时 计算出各项畸变系数。 18/10/12 29 CV:Calibration