基于立体视觉的深度估计

立体成像基于各种场景点的深度恢复可以通过计算视差来实现的理论。本节伊始,介绍了共轭对、correspondence、视差(disparity)、外极(epipolar)平面、外极线的概念,从而介绍了立体成像的实现方法,介绍了基于特征(点、线)的匹配(稀疏匹配)、基于区域的匹配(稠密匹配)两种立体匹配的方法,算法评估,经典算法介绍等内容。
展开查看详情

1.第十章 基于立体视觉的深度估计

2.立体视觉

3.立体成象  我们将场景中同一点在两个不同图像中的投影 点称为共轭对  其中的一个投影点是另一个投影点的对应 (correspondence)correspondence)  两幅图像重叠时的共轭对点的位置之差 ( 共 轭对点之间的距离 ) 称为视差 (correspondence)disparity))  通过两个摄像机中心并且通过场景特征点的平 面称为外极 (correspondence)epipolar) 平面  外极平面与图像平面的交线称为外极线.

4.立体成象

5.立体成象 由相似三角形可得 x xl x  B x r   z F z F 合并两项,可得 BF z xl  x r F 是焦距, B 是基线距离

6.立体成象  因此,各种场景点的深度恢复可以通过计算视差来实 现.  大角度立体方法 ——提高场景点深度计算精度的有效 途径 主要的问题有: 随着基线距离的增加,两个摄像机的共同的可视 范围减小 场景点对应的视差值增大,则搜索对应点的范围 增大,出现多义性的机会就增大. 由透视投影引起的变形导致两个摄像机获取的两 幅图像中不完全相同,这就给确定共轭对带来困难.

7.立体成像的一般情况  在实际中,两条外极线不一定完全在一条直线 上,即垂直视差不为零  两个摄像机的光轴不平行

8.立体图像校正 • 立体图像对重新取样,使外极线对应于 图像阵列的行

9.立体图像校正 将两图像投影到一个平面上就能得到理想的极 线几何.左 ( 右 ) 摄像机中的每一个像素点分别对 应于左 ( 右 ) 摄像机坐标系统中的一条射线。 设 Tl 和 Tr 分别表示将左、右摄像机的射线变换到 公共平面坐标系的刚体变换,确定每个图像的顶点在 公共平面上的位置,创建新的左、右图像网格,将每 一个网格点变换回原来的图像上.使用双变量线性内 插方法内插像素值可确定公共平面上新的左、右图像 中的像素点。

10.

11. 平行光轴立体视觉系统 左摄像机 右摄像机 基线 左图像 : 右图像 : 参考 目标 视差 景深 Z 高度 Zw Zw=0

12. 视差公式 P(correspondence)X,Y,Z) 平行光轴立 体视觉系统 景深 视差 : B Z D  f dx = xr - xl dx 像平面 像平面 pl(correspondence)xl,y)l) pr(correspondence)xr,y)r) f = 焦距 f = 焦距 光心 Ol 光心 Or B = 基线 左摄像机 右摄像机

13. 立体匹配  求解对应问题是立体成象系统的核心内容  求解对应问题极富有挑战性,可以说是立体视 觉最困难的一步.  方法  基于特征(点、线)的匹配 ( 稀疏匹配 )  基于区域的匹配 ( 稠密匹配 )

14.立体匹配的困难  场景投影到两幅图像中并不总是一致的  摄像机相关  图像噪声、不同增益、不同对比度等等 ...  视点相关  透视畸变  遮挡  镜面反射  复杂场景因素  重复场景  无纹理区域 引入约束,减少搜索范围

15.外极线约束  一幅图像上的特征 点一定位于另一幅 图像上对应的外极 线上  将二维搜索转会为 一维搜索问题  在外极线的一个小 邻域内进行搜索

16.一致性约束  对图像进行规范化处理 (correspondence)Normalization) 设参考摄像机和其它摄像机的图像函数分别为 f 0  i, j  和 f k  i, j  ,则图像窗内规范化图像函数为: μ 是图像窗内光强的平均值 , σ 是光强分布参数 : 1 n m    ( f (i, j )   ) 2 2 mn j 1 i 1 n m 相似估价函数为差值绝对值之和  k   f 0 (i , j )  f k (i , j ) i 1 j 1

17.顺序约束  如果在参考图像中点 A 在点 B 的左边 => 在目 标图像中点 A 的匹配点 也在点 B 的匹配点的左 边  对细小物体不成立 Image from Sun et al. CVPR05

18.其它约束  唯一性约束 一幅图像 ( 左或右 ) 上的每一个特征点只 能与另一幅图像上的唯一一个特征对应.  连续性约束 物体表面一般都是光滑的,因此物体表面 上各点在图像上的投影也是连续的,它们的视 差也是连续的. 在物体边界处,连续性约束不能成立.

19.特征匹配——稀疏  在立体图像对中识别兴趣点 (correspondence)interesting point) ,而后在两幅图像中匹配相对应的点.  识别兴趣点 (correspondence)interesting point) 在图像中具有很大变化的区域内寻找兴趣点 在以某一点为中心的窗函数中,计算其在不同方向 上的变化量 为避免将多个相邻点选为同一个特征对应的兴趣点 ,将特征点选在兴趣测度函数具有局部最大值的地方

20.特征匹配 左图像 角点 线 结构  对于左图像中的每一个特征…

21.特征匹配 右图像 角点 线 结构  在右图像中寻找… 当相似度达到最大时的偏移量就是视差

22.特征匹配——稀疏  基于特征的立体匹配算法产生对应于图像特征 点的场景稀疏深度图.  仅仅能恢复用于求解共轭对的像素子集对应的 特征点深度.  要想得到其它点的深度值,必须通过使用有关 计算方法来估算,如内插值技术.

23. 基于边缘特征的立体匹配算法 ( 1 )采用标准的摄像机设置,并利用边缘 点作为图像特征。 ( 2 )采用外极约束使匹配过程简化:为求 左图像某扫描行上一个边缘点 Pil 在右图像上 的对应点,沿右图像的同一扫描行扫描寻找 匹配点即可。根据相容性约束,所求对应点 Pir 也应为一边缘点,且两个边缘点的幅值和 方向应保持一致。

24. 基于边缘特征的立体匹配算法描述 输 入 图 像 : 左 边 缘 图 像 el(i,j) , 1≤i≤I,1≤j≤J 右 边 缘 图 像 er(i,j) , 输出图像:视差图像 d(i,j) , 1≤i≤I,1≤j≤J 1≤i≤I,1≤j≤J 若干标记: il 左图像的现行行指标; ir 右图像的现行行指标; jl 左图像的现行列指标; jr 右图像的现行列指标;

25. 基于边缘特征的立体匹配算法描述 算法步骤: ( 1 ) 初始化操作:将 d(i,j) 清零,并置: il=1 , ir=1 , jl=1 和 jr=1 。 ( 2 ) 匹配运算: ( 2-1 )从左边缘图像的第 il 行当前列开始,寻找下一个待匹 配的边缘点 Pil 。这里, Pil 的列指标由 jl 指示; ( 2-2 )在右边缘图像的第 ir=il 行上,寻找 Pil 的对应点 Pir 。 方法如下:比较候补边缘点和 Pil 的幅值和方向,看是否 一致。如果需要的话,可引入顺序约束以进一步减少匹 配运算。上述过程不断进行直到在右图像上找到具有最 大一致性的边缘点为止,并将其定为 Pil 的对应点 Pir 。 这里, Pir 的列指标由 jr 指示。然后,根据 jl 和 jr 的 值 计 算 待 匹 配 的 边 缘 点 Pil 处 对 应 的 视 差 。 即 置 d(il,jl)=jl-jr 。

26. 基于边缘特征的立体匹配算法描述 算法步骤 ( 续 ) : 一旦右图像上的一个边缘点被定为左图像上的一个边缘 点的对应点,则根据唯一性约束,该点以后将不能和左 图像上任何别的边缘点相匹配。 ( 2-3 )进行行终止检查。若左图像的现行行上已无待匹配的 边缘点,去( 3 );否则,回到( 2-1 )。 ( 3 ) 若 il=I ,去( 4 ); 否则,置 il=il+1 、 jl=1 和 jr=1 ,回到( 2-1) ; ( 4 ) 根据视差图像 d(i,j) 和摄像机的系统参数,计算各 边缘点处的三维坐标。 算法特点:鲁棒,但仅在图像的边缘点处可以 获得相应景物的三维位置信息。

27. 基于区域相关性的立体匹配 ( 稠密 )  计算一幅图像的一个小窗函数内的像素与另一幅 图像中具有同样的潜在对应特征的小窗函数的像 素之间的相关值.具有最大相关值的小窗区域就 是对应区域.  只有满足外极线约束的区域才能是匹配区域.考 虑到垂直视差的存在,应将外极线邻近的像素点 也包括在潜在的匹配特征集中.

28.立体匹配评价函数

29.立体匹配评价函数