基于立体视觉的深度估计

1 .第十章 基于立体视觉的深度估计 

2 .立体视觉 

3 .立体成象  我们将场景中同一点在两个不同图像中的投影 点称为共轭对  其中的一个投影点是另一个投影点的对应 (correspondence)correspondence)  两幅图像重叠时的共轭对点的位置之差 ( 共 轭对点之间的距离 ) 称为视差 (correspondence)disparity))  通过两个摄像机中心并且通过场景特征点的平 面称为外极 (correspondence)epipolar) 平面  外极平面与图像平面的交线称为外极线． 

4 .立体成象 

5 .立体成象 由相似三角形可得 x xl x  B x r   z F z F 合并两项，可得 BF z xl  x r F 是焦距， B 是基线距离 

6 .立体成象  因此，各种场景点的深度恢复可以通过计算视差来实 现．  大角度立体方法 ——提高场景点深度计算精度的有效 途径 主要的问题有： 随着基线距离的增加，两个摄像机的共同的可视 范围减小 场景点对应的视差值增大，则搜索对应点的范围 增大，出现多义性的机会就增大． 由透视投影引起的变形导致两个摄像机获取的两 幅图像中不完全相同，这就给确定共轭对带来困难． 

7 .立体成像的一般情况  在实际中，两条外极线不一定完全在一条直线 上，即垂直视差不为零  两个摄像机的光轴不平行 

8 .立体图像校正 • 立体图像对重新取样，使外极线对应于 图像阵列的行 

9 .立体图像校正 将两图像投影到一个平面上就能得到理想的极 线几何．左 ( 右 ) 摄像机中的每一个像素点分别对 应于左 ( 右 ) 摄像机坐标系统中的一条射线。 设 Tl 和 Tr 分别表示将左、右摄像机的射线变换到 公共平面坐标系的刚体变换，确定每个图像的顶点在 公共平面上的位置，创建新的左、右图像网格，将每 一个网格点变换回原来的图像上．使用双变量线性内 插方法内插像素值可确定公共平面上新的左、右图像 中的像素点。 

10 .

11 . 平行光轴立体视觉系统 左摄像机 右摄像机 基线 左图像 : 右图像 : 参考 目标 视差 景深 Z 高度 Zw Zw=0 

12 . 视差公式 P(correspondence)X,Y,Z) 平行光轴立 体视觉系统 景深 视差 : B Z D  f dx = xr - xl dx 像平面 像平面 pl(correspondence)xl,y)l) pr(correspondence)xr,y)r) f = 焦距 f = 焦距 光心 Ol 光心 Or B = 基线 左摄像机 右摄像机 

13 . 立体匹配  求解对应问题是立体成象系统的核心内容  求解对应问题极富有挑战性，可以说是立体视 觉最困难的一步．  方法  基于特征（点、线）的匹配 ( 稀疏匹配 )  基于区域的匹配 ( 稠密匹配 ) 

14 .立体匹配的困难  场景投影到两幅图像中并不总是一致的  摄像机相关  图像噪声、不同增益、不同对比度等等 ...  视点相关  透视畸变  遮挡  镜面反射  复杂场景因素  重复场景  无纹理区域 引入约束，减少搜索范围 

15 .外极线约束  一幅图像上的特征 点一定位于另一幅 图像上对应的外极 线上  将二维搜索转会为 一维搜索问题  在外极线的一个小 邻域内进行搜索 

16 .一致性约束  对图像进行规范化处理 (correspondence)Normalization) 设参考摄像机和其它摄像机的图像函数分别为 f 0  i, j  和 f k  i, j  ，则图像窗内规范化图像函数为： μ 是图像窗内光强的平均值 , σ 是光强分布参数 : 1 n m    ( f (i, j )   ) 2 2 mn j 1 i 1 n m 相似估价函数为差值绝对值之和  k   f 0 (i , j )  f k (i , j ) i 1 j 1 

17 .顺序约束  如果在参考图像中点 A 在点 B 的左边 => 在目 标图像中点 A 的匹配点 也在点 B 的匹配点的左 边  对细小物体不成立 Image from Sun et al. CVPR05 

18 .其它约束  唯一性约束 一幅图像 ( 左或右 ) 上的每一个特征点只 能与另一幅图像上的唯一一个特征对应．  连续性约束 物体表面一般都是光滑的，因此物体表面 上各点在图像上的投影也是连续的，它们的视 差也是连续的． 在物体边界处，连续性约束不能成立． 

19 .特征匹配——稀疏  在立体图像对中识别兴趣点 (correspondence)interesting point) ，而后在两幅图像中匹配相对应的点．  识别兴趣点 (correspondence)interesting point) 在图像中具有很大变化的区域内寻找兴趣点 在以某一点为中心的窗函数中，计算其在不同方向 上的变化量 为避免将多个相邻点选为同一个特征对应的兴趣点 ，将特征点选在兴趣测度函数具有局部最大值的地方 

20 .特征匹配 左图像 角点 线 结构  对于左图像中的每一个特征… 

21 .特征匹配 右图像 角点 线 结构  在右图像中寻找… 当相似度达到最大时的偏移量就是视差 

22 .特征匹配——稀疏  基于特征的立体匹配算法产生对应于图像特征 点的场景稀疏深度图．  仅仅能恢复用于求解共轭对的像素子集对应的 特征点深度．  要想得到其它点的深度值，必须通过使用有关 计算方法来估算，如内插值技术． 

23 . 基于边缘特征的立体匹配算法 （ 1 ）采用标准的摄像机设置，并利用边缘 点作为图像特征。 （ 2 ）采用外极约束使匹配过程简化：为求 左图像某扫描行上一个边缘点 Pil 在右图像上 的对应点，沿右图像的同一扫描行扫描寻找 匹配点即可。根据相容性约束，所求对应点 Pir 也应为一边缘点，且两个边缘点的幅值和 方向应保持一致。 

24 . 基于边缘特征的立体匹配算法描述 输 入 图 像 ： 左 边 缘 图 像 el(i,j) ， 1≤i≤I,1≤j≤J 右 边 缘 图 像 er(i,j) ， 输出图像：视差图像 d(i,j) ， 1≤i≤I,1≤j≤J 1≤i≤I,1≤j≤J 若干标记： il 左图像的现行行指标； ir 右图像的现行行指标； jl 左图像的现行列指标； jr 右图像的现行列指标； 

25 . 基于边缘特征的立体匹配算法描述 算法步骤： （ 1 ） 初始化操作：将 d(i,j) 清零，并置： il=1 ， ir=1 ， jl=1 和 jr=1 。 （ 2 ） 匹配运算： （ 2-1 ）从左边缘图像的第 il 行当前列开始，寻找下一个待匹 配的边缘点 Pil 。这里， Pil 的列指标由 jl 指示； （ 2-2 ）在右边缘图像的第 ir=il 行上，寻找 Pil 的对应点 Pir 。 方法如下：比较候补边缘点和 Pil 的幅值和方向，看是否 一致。如果需要的话，可引入顺序约束以进一步减少匹 配运算。上述过程不断进行直到在右图像上找到具有最 大一致性的边缘点为止，并将其定为 Pil 的对应点 Pir 。 这里， Pir 的列指标由 jr 指示。然后，根据 jl 和 jr 的 值 计 算 待 匹 配 的 边 缘 点 Pil 处 对 应 的 视 差 。 即 置 d(il,jl)=jl-jr 。 

26 . 基于边缘特征的立体匹配算法描述 算法步骤 ( 续 ) ： 一旦右图像上的一个边缘点被定为左图像上的一个边缘 点的对应点，则根据唯一性约束，该点以后将不能和左 图像上任何别的边缘点相匹配。 （ 2-3 ）进行行终止检查。若左图像的现行行上已无待匹配的 边缘点，去（ 3 ）；否则，回到（ 2-1 ）。 （ 3 ） 若 il=I ，去（ 4 ）； 否则，置 il=il+1 、 jl=1 和 jr=1 ，回到（ 2-1) ； （ 4 ） 根据视差图像 d(i,j) 和摄像机的系统参数，计算各 边缘点处的三维坐标。 算法特点：鲁棒，但仅在图像的边缘点处可以 获得相应景物的三维位置信息。 

27 . 基于区域相关性的立体匹配 ( 稠密 )  计算一幅图像的一个小窗函数内的像素与另一幅 图像中具有同样的潜在对应特征的小窗函数的像 素之间的相关值．具有最大相关值的小窗区域就 是对应区域．  只有满足外极线约束的区域才能是匹配区域．考 虑到垂直视差的存在，应将外极线邻近的像素点 也包括在潜在的匹配特征集中． 

28 .立体匹配评价函数 

29 .立体匹配评价函数