基于特征的图像对准:图像对准和位姿估计-增强现实

1 .第六章 基于特征的图像对准 

2 . 主要内容 摄像机标定（ Camera Calibration ） 图像对准 (ImageImage Alignment) 位姿估计 - 增强现实（ Augmented Reality ） 2 CV:Calibration 18/10/12 

3 .图像对准 -Image alignmentImage alignment 

4 .A look into the past http://blog.flickr.net/en/2010/01/27/a-look-into-the-past/ 

5 . A look into the past Leningrad during the blockade http://komen-dant.livejournal.com/345684.html 

6 . Bing streetside images http://www.bing.com/community/blogs/maps/archive/2010/01/12/new-bing-maps-ap plication-streetside-photos.aspx 

7 .图像对准的应用 全景拼接 Panorama stitching 目标识别 

8 .图像拼接的困难 小区域重叠 亮度变化 遮挡 , 混乱 

9 .图像对准 • 两大类方法 : 直接 对准 ( 基于像素 )  以大多数像素匹配为准则对准 基于特征的对准  以提取的特征匹配为准则对准  可以通过基于像素的方法进行验证 

10 .基于拟合的对准 • 之前章节 : 在单幅图像内对提取的特征 ( 点、边缘段 等 ) 进行拟合，得到轮廓模型 M xi Find model M that minimizes  residual( x , M ) i i 

11 .基于拟合的对准 • 之前章节 : 在单幅图像内对提取的特征 ( 点、边缘段 等 ) 进行拟合，得到轮廓模型 M xi Find model M that minimizes  residual( x , M ) i i •对准 : 对于两幅图像特征对间的变换关系进 行数据拟合 xi xi' Find transformation T T that minimizes  residual(T ( x ), x) i i i 

12 .2D 转换模型 • Similarity (translation, scale, rotation) • Affine • Projective (homography) 

13 . 从仿射变换开始 • 简单的数据拟合程序 ( 线性最小二乘法 ) • 对于近似平面表面的物体和近似正交的相机可以近似 看作是视点变化 • 可以作为更复杂模型的初始拟合结果 

14 . 拟合仿射变换 • 假如已知对应关系，怎样得到转换模型？ ( xi , yi ) ( xi, yi)  m1        m2   x 1 0  m3   xi  xi  m1 m2   xi   t1   i yi 0 0  y  m         i  3 m4   yi  t 2  0 0 xi yi 0 1  m4   yi         t1     t2  

15 .拟合仿射变换  m1        m2   x yi 0 0 1 0  m3   xi  i   0 0 xi yi 0 1  m4   yi         t1     t2  • 6 个未知数的线性方程组 • 每一对匹配的特征点能够建立两个独立的线性方 程 : 这样就至少需要三对匹配的特征点解出全部参 数 

16 .基于特征的图像对准的过程 

17 .基于特征的图像对准的过程 • 提取特征 

18 .基于特征的图像对准的过程 • 提取特征 • 特征匹配 

19 .基于特征的图像对准的过程 • 提取特征 • 特征匹配 • 迭代 :  选择三个特征点对，得到初始变换 T 

20 .基于特征的图像对准的过程 • 提取特征 • 特征匹配 • 迭代 :  选择三个特征点对，得到初始变换 T  利用其它特征点对，验证变换 T 

21 .基于特征的图像对准的过程 • 提取特征 • 特征匹配 • 迭代 :  选择三个特征点对，得到初始变换 T  利用其它特征点对，验证变换 T 

22 .建立特征点对 ? 

23 .建立特征点对 ? ? () = () feature feature descriptor descriptor • 对比兴趣点邻域范围的图像块的特征描述子 

24 .特征描述子 • 假设每个图像块已经被归一化，怎样描述各个图像块 的相似性 ? • 特征描述需要具有对光照变化，噪声，图像模式的不 变性 

25 . 特征描述子 • 最简单的描述子：图像灰度向量 • 怎样比较两个向量的相似性 ? Sum of squared differences (SSD) SSD(u , v)   ui  vi  2 i  不具有光照不变性 Normalized correlation  (u , v)   (u i i  u )(vi  v )      (u j  u )   (v j  v )  2 2     j  j   具有光照仿射不变性 

26 . 特征描述子 • 直接 将图像块作为描述子的不足 : 小的改变就会影响匹配结果 • 解决办法 : 直方图 0 2 

27 . 特征描述子 :SIFT • 描述子计算过程 : 将每个图像块分成 4x4x4x4 个子块 在每个子块内计算方向梯度直方图 (8 个参考方向 ) 最终生成的描述子 : 4x4x4x4x8 = 128 维 David G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60 (2), pp. 91-110, 2004. 

28 . 特征描述子 :SIFT • 描述子计算过程 : 将每个图像块分成 4x4x4x4 个子块 在每个子块内计算方向梯度直方图 (8 个参考方向 ) 最终生成的描述子 : 4x4x4x4x8 = 128 维 • 与直接用像素值相比的优势 梯度对于光照变化不敏感 实现了对于小变化的鲁棒性 , 仍然保留了空间信息 David G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60 (2), pp. 91-110, 2004. 

29 . 特征匹配 • 生成特征点对 : 对于图像中每个子块，在其它图像中 找到和它相似的一系列候选匹配块 ?