基于立体视觉的深度估计:结构光测距成像系统

结构光测距将激光器(或投影仪)发出的光束经光学系统形成某种形式的光投向景物,在景物上形成图案并由摄象机摄取,而后由图象根据三角法和传感器结构参数进行计算,得到景物表面的深度图象和三维坐标。该方法的传感器具有体积小、价格低、便于安装和维护的特点,是工业中最常用的三维感知技术。单点法结构光测距包括结构光三角测距、单线法结构光测距、图案法结构光测距等内容;然后介绍了激光测距雷达等相关内容。
展开查看详情

1.第十章 基于立体视觉的深度估计

2.第二节 结构光测距成像系统

3.1. 结构光测距  结构光测距将激光器(或投影仪)发出的光束经 光学系统形成某种形式的光,包括点、单线、多 线、单圆、同心多圆、网格、十字交叉、灰度编 码图案、彩色编码图案和随机纹理投影等投向景 物,在景物上形成图案并由摄象机摄取,而后由 图象根据三角法和传感器结构参数进行计算,得 到景物表面的深度图象和三维坐标。  该方法的传感器具有体积小、价格低、便于安装 和维护的特点,是工业中最常用的三维感知技术。

4.结构光测距

5. Stereo Triangulation I J Correspondence is hard!

6. Structured Light Triangulation I J Correspondence becomes easier!

7. 单点法结构光测距 • 结构光三角测距原理 b [ x, y , z ]  [ x, y, f ] fctg  x

8.单点法结构光测距  一次只照明一个点.然后使用上述方程计算该 点的深度,由此得到二维距离图像。  采用逐点扫描获得整个物体的三维形状,其图 象摄取时间和图象处理量随被测物面的增大而 急剧增加,难以完成实时三维形状检测。  但在结构光三维视觉传感中,它的精度是最高 的。

9.单线法结构光测距

10.单线法结构光测距

11.Triangulation Light Plane Ax  By  Cz  D 0 Object Laser Camera Camera  Project laser stripe onto object

12.Triangulation Light Plane Ax  By  Cz  D 0 Object Laser Image Point ( x' , y ' ) Camera  Depth from ray-plane triangulation:  Intersect camera ray with light plane x  x' z / f  Df z y  y' z / f Ax ' By 'Cf

13.Example: Laser scanner Cyberware® face and head scanner + very accurate < 0.01 mm − more than 10sec per scan

14.Example: Laser scanner Digital Michelangelo Project http://graphics.stanford.edu/projects/mich/

15.Example: Portable Laser scanner

16. 单线法结构光测距  与单点法比较,它增加了产生平面狭缝光的光学装 置,只需进行一维扫描就可以得到景物的深度图象 ,图象摄取和处理时间与工作量大为减少。  尽管如此,该方法仍然是非常低效的图象处理方法 ,它必须俘获并处理与不同位置光条纹相对应的系 列图象,以得到特定场景的一幅全帧深度数据。  所以单光条法的测量速度与单点法一样,在原理上 受到限制。

17.图案法结构光测距  为了缩短测量时间,可以用二维结构光图案对 景物进行整体投射,分为重复图案投射法和图 案编码投射法。  重复图案投射法:将同一种图案重复多次投影 到景物上,每次等间隔的减小条纹图案、点阵 图案或网格图案。  投射图案与图象图案间混淆问题严重,位置关 系难以确定。

18. Binary Coding Faster: 2n  1 stripes in n images. Projected over time Example: 3 binary-encoded patterns Pattern 3 which allows the measuring surface to be divided in 8 sub- regions Pattern 2 Pattern 1

19. Binary Coding  Assign each stripe a unique illumination code over time [Posdamer 82] Time Space

20. Binary Coding Example: 7 binary patterns proposed by Posdamer & Altschuler Projected … over time Pattern 3 Pattern 2 Pattern 1 Codeword of this píxel: 1010010  identifies the corresponding pattern stripe

21.图案编码投射法  图案编码投射法分为时间编码和空间编码。  时间编码是将多个不同的编码图案按时序先后 投射到物体表面,得到相应的编码图象序列, 将编码图象序列组合起来进行解码,得到照射 到各象点所对应物点上的光线投射角,再由结 构光法基本公式得到景物的深度图象。  两灰度 ( 二值图象 ) 二进制编码图案是较常使 用的方法。

22. 使用彩色结构光 可以根据色调值的 不同进行编码,组 合空间更大。而且 同时还可以获得场 景中诸如物体颜色 、纹理等物理特性。

23. More complex patterns Works despite complex appearances Works in real-time and on dynamic scenes • Need very few images (one or two). • But needs a more complex correspondence algorithm Zhang et al

24.时间编码结构光测距  时间编码方法不仅是减少工作量和提高测量速 度的有效途径,而且解码错误大为减少,但要 求每次投射图案时投射空间位置和景物位置不 可有变化,因此不适用于动态变化的场景中。

25.空间编码结构光测距  空间编码是将一幅按某种方式编码的图案向景物 投射,得到一幅对应的编码图象,将编码图象与 编码方式对照解码,获得照射到各象点所对应物 点上的光线投射角,进而由结构光法基本公式得 到景物的深度图象。  空间编码可以通过改变多线结构光的每个狭缝光 的参数:亮度、颜色和狭缝的宽度等来完成。该 方法只需一次图案投射就可获得景物的深度图象 ,从原理上来说更适应于动态测量。

26. 自适应编码方案  投影的图案包括等间距的黑白条纹以及一定数量 的彩色横切条纹。  通过对场景的几何结构和反射特性的估计场景信 息  结构光的颜色、亮度和形状与场景信息相关

27.

28.空间编码结构光测距  目前在分辨率和处理速度上还不能满足三 维视觉检测的要求。  无法应用于具有复杂背景的环境中。  编码图案和编码图象由于受景物表面特性 不同而产生的模糊点影响发生译码错误, 无法判断出光线的投影角。

29.Continuum of Triangulation Methods Multi-stripe Multi-frame Single-stripe Single-frame Slow, robust Fast, fragile