基于特征的图像对准:图像对准和位姿估计-增强现实

本章介绍基于特征的图像对准中的图像对准(Image Alignment)和位姿估计-增强现实(Augmented Reality),举例说明了什么是图像对准以及图像对准的两大类方法:直接对准(基于像素)、基于特征的对准;增强现实(Augmented Reality,简称?AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动,本章介绍了AR技术的应用以及增强现实的开发工具。
展开查看详情

1.第六章 基于特征的图像对准

2. 主要内容 摄像机标定( Camera Calibration ) 图像对准 (ImageImage Alignment) 位姿估计 - 增强现实( Augmented Reality ) 2 CV:Calibration 18/10/12

3.图像对准 -Image alignmentImage alignment

4.A look into the past http://blog.flickr.net/en/2010/01/27/a-look-into-the-past/

5. A look into the past Leningrad during the blockade http://komen-dant.livejournal.com/345684.html

6. Bing streetside images http://www.bing.com/community/blogs/maps/archive/2010/01/12/new-bing-maps-ap plication-streetside-photos.aspx

7.图像对准的应用 全景拼接 Panorama stitching 目标识别

8.图像拼接的困难 小区域重叠 亮度变化 遮挡 , 混乱

9.图像对准 • 两大类方法 : 直接 对准 ( 基于像素 )  以大多数像素匹配为准则对准 基于特征的对准  以提取的特征匹配为准则对准  可以通过基于像素的方法进行验证

10.基于拟合的对准 • 之前章节 : 在单幅图像内对提取的特征 ( 点、边缘段 等 ) 进行拟合,得到轮廓模型 M xi Find model M that minimizes  residual( x , M ) i i

11.基于拟合的对准 • 之前章节 : 在单幅图像内对提取的特征 ( 点、边缘段 等 ) 进行拟合,得到轮廓模型 M xi Find model M that minimizes  residual( x , M ) i i •对准 : 对于两幅图像特征对间的变换关系进 行数据拟合 xi xi' Find transformation T T that minimizes  residual(T ( x ), x) i i i

12.2D 转换模型 • Similarity (translation, scale, rotation) • Affine • Projective (homography)

13. 从仿射变换开始 • 简单的数据拟合程序 ( 线性最小二乘法 ) • 对于近似平面表面的物体和近似正交的相机可以近似 看作是视点变化 • 可以作为更复杂模型的初始拟合结果

14. 拟合仿射变换 • 假如已知对应关系,怎样得到转换模型? ( xi , yi ) ( xi, yi)  m1        m2   x 1 0  m3   xi  xi  m1 m2   xi   t1   i yi 0 0  y  m         i  3 m4   yi  t 2  0 0 xi yi 0 1  m4   yi         t1     t2 

15.拟合仿射变换  m1        m2   x yi 0 0 1 0  m3   xi  i   0 0 xi yi 0 1  m4   yi         t1     t2  • 6 个未知数的线性方程组 • 每一对匹配的特征点能够建立两个独立的线性方 程 : 这样就至少需要三对匹配的特征点解出全部参 数

16.基于特征的图像对准的过程

17.基于特征的图像对准的过程 • 提取特征

18.基于特征的图像对准的过程 • 提取特征 • 特征匹配

19.基于特征的图像对准的过程 • 提取特征 • 特征匹配 • 迭代 :  选择三个特征点对,得到初始变换 T

20.基于特征的图像对准的过程 • 提取特征 • 特征匹配 • 迭代 :  选择三个特征点对,得到初始变换 T  利用其它特征点对,验证变换 T

21.基于特征的图像对准的过程 • 提取特征 • 特征匹配 • 迭代 :  选择三个特征点对,得到初始变换 T  利用其它特征点对,验证变换 T

22.建立特征点对 ?

23.建立特征点对 ? ? () = () feature feature descriptor descriptor • 对比兴趣点邻域范围的图像块的特征描述子

24.特征描述子 • 假设每个图像块已经被归一化,怎样描述各个图像块 的相似性 ? • 特征描述需要具有对光照变化,噪声,图像模式的不 变性

25. 特征描述子 • 最简单的描述子:图像灰度向量 • 怎样比较两个向量的相似性 ? Sum of squared differences (SSD) SSD(u , v)   ui  vi  2 i  不具有光照不变性 Normalized correlation  (u , v)   (u i i  u )(vi  v )      (u j  u )   (v j  v )  2 2     j  j   具有光照仿射不变性

26. 特征描述子 • 直接 将图像块作为描述子的不足 : 小的改变就会影响匹配结果 • 解决办法 : 直方图 0 2

27. 特征描述子 :SIFT • 描述子计算过程 : 将每个图像块分成 4x4x4x4 个子块 在每个子块内计算方向梯度直方图 (8 个参考方向 ) 最终生成的描述子 : 4x4x4x4x8 = 128 维 David G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60 (2), pp. 91-110, 2004.

28. 特征描述子 :SIFT • 描述子计算过程 : 将每个图像块分成 4x4x4x4 个子块 在每个子块内计算方向梯度直方图 (8 个参考方向 ) 最终生成的描述子 : 4x4x4x4x8 = 128 维 • 与直接用像素值相比的优势 梯度对于光照变化不敏感 实现了对于小变化的鲁棒性 , 仍然保留了空间信息 David G. Lowe. "Distinctive image features from scale-invariant keypoints.” IJCV 60 (2), pp. 91-110, 2004.

29. 特征匹配 • 生成特征点对 : 对于图像中每个子块,在其它图像中 找到和它相似的一系列候选匹配块 ?