基于特征的图像对准:摄像机标定(Camera Calibration)

本章介绍基于特征的图像对准中的摄像机标定(Camera Calibration)方法:用于确定点在不同坐标系中的相互关系和摄像机成像几何模型的参数,首先介绍了计算机视觉系统中的几种坐标:像素坐标、图像平面坐标、摄像机坐标、绝对坐标的概念,利用结构已知、精度很高的空间参照物的传统标定方法和利用图像对应点的信息自标定方法。
展开查看详情

1.第六章 基于特征的图像对准

2. 主要内容  摄像机标定( Camera Calibration )  图像对准 (ImageImage Alignment)  位姿估计 - 增强现实( Augmented Reality ) 18/10/12 2 CV:Calibration

3. 摄像机标定 视觉系统框图 上图为标定过程,下图为三维重建过程 18/10/12 3 CV:Calibration

4. 摄像机标定 • 计算机视觉系统中的几种坐标 1. 像素坐标:图像阵列中的位置 2. 图像平面坐标:场景点在图像平面上 的投影坐标,以摄像机主点为原点 3. 摄像机坐标:以摄像机(观察者)为 中心的三维坐标 4. 绝对坐标(世界坐标):绝对坐标系 中的三维坐标 18/10/12 4 CV:Calibration

5. 摄像机坐标系与世界坐标系 18/10/12 5 CV:Calibration

6.  透视投影方程: x y  f   x y z f f  点在图像平面中的位置 :x  z x y  y z 18/10/12 6 CV:Calibration

7. 摄像机标定 • 确定点在不同坐标系中的相互关系 • 确定摄像机成像几何模型的参数 •传统标定方法 利用结构已知、精度很高的空间参照物 自标定方法 • 利用图像对应点的信息 18/10/12 7 CV:Calibration

8. 1. 传统的摄像机标定方法 特点 利用已知的景物结构信息。常用到标定块。 18/10/12 8 CV:Calibration

9. 1. 传统的摄像机标定方法  优点 可以使用于任意的摄像机模型,标定精度高  不足 标定过程复杂,需要高精度的已知结构信息。 在实际应用中很多情况下无法使用标定块。 18/10/12 9 CV:Calibration

10. 1.1 DLT 变换 Abdal-Aziz 和 Karara 于 70 年代初提 出了直接线性变换相机定标的方法,他们 从摄影测量学的角度深入的研究了相机图 像和环境物体之间的关系,建立了相机成 像几何的线性模型,这种线性模型参数的 估计完全可以由线性方程的求解来实现。 18/10/12 10 CV:Calibration

11. DLT 变换 直接线性变换是将像点和物点的成像几何关系在齐次坐标下 写成透视投影矩阵的形式: X w Xw u  Y  Y  s  v  K  R t   w  P34  w   Zw   Zw   1       1   1  其中  u , v,1 为图像坐标系下的点的齐次坐标, X w , Yw , Z w  为 世界坐标系下的空间点的欧氏坐标, 为 的透视投影矩 P 3 4 s 阵, 为未知尺度因子。 18/10/12 11 CV:Calibration

12. DLT 变换 P34  pij  消去 s,可以得到方程组 : p11 X w  p12Yw  p13 Z w  p14  p 31uX w  p 32 uYw  p 33uZ w  p 34 u 0 p 21 X w  p 22Yw  p 23 Z w  p14  p 31uX w  p 32 uYw  p 33uZ w  p 34 u 0 18/10/12 12 CV:Calibration

13. DLT 变换 当已知 N 个空间点和对应的图像上的点时,可以得到一个 含有 2*N 个方程的方程组: AL 0 其中 A 为 2N * 12  的矩阵,L 为透视投影矩阵元素组成的  p , p , p , p , p , p , p , p , p , 向量 11 12 13 14 21 22 23 24 31 32 33 34 。p , p , p  T 18/10/12 13 CV:Calibration

14. DLT 变换 相机定标的任务就是寻找合适的L ,使得|| AL || 为 最小,即 min || AL || L 2 2 2 给出约束:p 31 p 32 p 33 1 L'  (C T C )  1 C T B L' 为 L 的前 11 个元素组成的向量, C 为A 前 11 列组成的 矩阵,B 为A 第 12 列组成的向量。 18/10/12 14 CV:Calibration

15. 1.2 基于 RAC 约束的摄像机标定方法  属于两步标定法:先求解外部参数,再 求解内部参数  RAC=Radial alignment constraint 径向排列约束 方向 ri 方向 ri  18/10/12 15 CV:Calibration

16. RAC 两步法 ~ xi xi rxx xi  rxy yi  rxz zi  t x ~   yi yi ryx xi  ryy yi  ryz zi  t y rxx ~ rxy ~ rxz ~ ryx ~ ryy ~ ryz ~ tx ~ ~ y i xi  yi yi  yi z i  xi xi  xi y i  xi z i  y i  x i ty ty ty ty ty ty ty Z i 0 rxx ~ rxy ~ ryx ~ ryy ~ tx ~ ~ y i xi  yi yi  xi xi  xi y i  y i  x i ty ty ty ty ty 18/10/12 16 CV:Calibration

17. RAC 两步法计算过程 第一步: ( 1 )根据标定点,形成方程组AU b rxx rxy ryx ryy t x 计算得到 u ( t , t , t , t , t ) y y y y y ai ( ~ y i xi , ~ y i y i , ~ xi xi ,  ~ xi y i , ~ yi ) b ( ~ x1 , ~ x 2 ,..., ~ xn ) ( 2 )利用旋转矩阵的正交性,得到 2U  [U 2  4(u1u 4  u2u3 ) 2 ]1 2 t  y 2(u1u 4  u 2u3 ) 2 U u12  u 22  u 32  u 42 18/10/12 17 CV:Calibration

18. RAC 两步法计算过程 确定 t y 的符号,依据是 ~ xi 与 xi 符号相同,且 ~y i 与yi 符号相 同 先做正符号假设,取标定点,并计算 x rxx x  rxy y  t x y ryx x  ryy y  t y 如果结果符合符号相同的要求,则假设成立 ,否则不成立 ( 3 )利用正交性和右手系特性,计算旋转 矩阵的其他参数。有两种解,须根据第二步 计算的摄像机常数进行选择。 18/10/12 18 CV:Calibration

19. RAC 两步法计算过程 第二步: ( 1 )计算摄像机常数与平移 z 分量 yi ryx xi  ryy yi  t y dy~ yi yi  zi rzx xi  rzy yi  t z F zi r x yx i  r y yy i  t y  F  d ~ y t y i z  r x zx i  r y zy i  d ~ y yi Av b 求方程组得解 a i ( ryx xi  ryy y i  t y , d y ~ yi ) bi (rzx xi  rzy y i )d y ~ yi 18/10/12 v ( F , t z )T 19 CV:Calibration

20. RAC 两步法计算过程 第二步: ( 2 )计算透镜变形系数 yi ryx xi  ryy yi  t y dy~ yi (1  1r 2 ) yi  zi rzx xi  rzy yi  t z F zi ~ 2 ryx xi  ryy yi  t y d y yi (1  1r ) F rzx xi  rzy yi  t z 用优化算法求解 18/10/12 20 CV:Calibration

21. RAC 两步法  简洁、快速、准确,避免了非线性的 优化搜索。适用于需要快速标定摄像 机的场合  因为标定点是在一个平面上,所以不 能确定比例系数.而且,图像中心位 置没有被标定 18/10/12 21 CV:Calibration

22. 1.3 摄像机标定的非线性方法  基本思想 : ( 1 )测量标定点在图像平面上的投影位置 ( 2 )计算出其与正确位置之间的偏移量 ( 3 )将这些标定点测量值加到摄像机参数 模型方程 ( 每个标定点产生两个方程 ) ( 4 )形成足够数量的方程,以求解所有未 知参数 ( 5 )用非线性回归方法求解过定方程组 18/10/12 22 CV:Calibration

23. 摄像机标定的非线性方法  根据透视投影模型,有 x  xc rxx x a  rxy y a  rxz z a  t x   F z c rzx x a  rzy y a  rzz z a  t z y  y c ryx x a  ryy y a  ryz z a  t y   F zc rzx x a  rzy y a  rzz z a  t z  加入摄像机修正模型,有 (~ x  x p )(1  1r 2   2 r 4   3 r 6 ) rxx xa  rxy ya  rxz z a  t x  F rzx xa  rzy ya  rzz z a  t z (~ y  y p )(1  1r 2   2 r 4   3 r 6 ) ryx xa  ryy ya  ryz z a  t y  F rzx xa  rzy ya  rzz z a  t z 18/10/12 23 CV:Calibration

24. 摄像机标定的非线性方法  按欧拉角的旋转矩阵公式替换旋转 矩阵的所有元素  求解参数:旋转角 (3 个 ) 、在绝 对坐标系中摄像机的位置 (3 个 ) ,摄像机常数 (F)) ,主点位置的修 正量 (2 个 ) 、径向透镜变形的多 项式系数 (3 个 )  用非线性回归的方法求解 18/10/12 24 CV:Calibration

25.1.4 张正友平面标定方法 Yc M  X ,Y , 0  Zc O Yw Xc Zw m u , v  Ow Xw

26. 张正友方法 基本原理: X  u  Y  X  s v   K [r1 r2 r3 t ]    K [r1 r2 t ]Y  0  1    1  H 1  • 在这里假定模板平面在世界坐标系 Z 0 的平面上 ~ T • 其中, K 为摄像机的内参数矩阵, M [ X Y 1] 为模板平面上点的齐次坐标, ~ m [u v 1] T 为模 板平面上点投影到图像平面上对应点的齐次坐标,[ r1 r2 r3 ] t和 分别是摄像机坐标系相对于世界坐标系的旋转矩 阵和平移向量 18/10/12 26 CV:Calibration

27. 张正友方法 1 1 H [ h1 h2 h3 ]  K [ r1 r2 t ] r1  K  1h1 , r2  K  1h2   T 根据旋转矩阵的性质,即 r r 0 和 r1  r2 1 1 2 ,每幅图像可以获得以下两个对内参数矩阵的基本 约束 T  T  1 h1 K K h2 0 T T 1 T T 1 h K K h1 h K K h2 1 2 由于摄像机有 5 个未知内参数,所以当所摄取得的图像数 目大于等于 3 时,就可以线性唯一求解出K 18/10/12 27 CV:Calibration

28. 张正友方法 张正友方法所用的平面模板 18/10/12 28 CV:Calibration

29. 张正友方法  标定步骤 : (1) 制定一张平板棋盘格模板; (2) 移动平面或摄像机,从不同角度拍摄 若干张 ( 大于或等于 3 张 ) 模板图像; (3) 检测出每幅图像中的特征点 ; (4) 求出每一幅图像的单应矩阵 H ; (5) 在令畸变系数为 0 的前提下,利用求 出的矩阵 H 计算出摄像机的内参数; (6) 利用反投影法进一步优化求精,同时 计算出各项畸变系数。 18/10/12 29 CV:Calibration