编辑:OAK中国
首发:oakchina.cn
喜欢的话,请多多⭐️✍
内容可能会不定期更新,官网内容都是最新的,请查看首发地址链接。

▌前言

Hello,大家好,这里是OAK中国,我是助手君。

最近刷知乎看到这样一个问题

碰巧B站也有朋友在问这种类似的问题,我寻思刚开始接触深度相机的朋友们应该都会有这种疑问,所以我整理了一下这个内容。大家也可以去知乎看我的回答,别忘了三连哦~

▌什么是深度相机

深度相机也被称为3D相机,它和普通2D相机的区别在于可以获取物体到相机的距离信息,加之2D平面的X,Y坐标,可计算出每个点的三维坐标,以此我们可推断深度相机的应用,如三维重建、目标定位、导航避障等。
效果参考这个视频 :

OAK相机室内室外测试 深度+物体识别+三维坐标

目前常见的深度相机,他们用的技术可以分为三类:

  • 双目
  • 结构光
  • ToF

▌一、双目

0.基本原理

通过左右两个摄像头同时拍摄同一物体,然后利用计算机算法计算两个摄像头之间的视差,从而得出物体的深度信息。

图片来源

视差是指两个摄像头拍摄同一物体时,物体在两个图像中的位置差异。计算机通过测量这个差异来确定物体离相机的距离。视差类似人的双眼,你单独睁开左、右眼,与同时睁开双眼观看物体的位置、远近是不一样的。

双目相机不主动对外发射光源,因此称为被动深度相机。

1.优点

不需要结构光、TOF的发射器和接收器,因此结构简单硬件成本低,适合成本敏感的应用场景。因为依靠自然光,可在室内外使用。

2.缺点

强光、暗光影响较大,因为依赖于自然光。对无纹理的物体或表面影响较大,如纯色墙,因双目相机依据视觉特征进行图像匹配,单一问题会引起匹配失效。

3.应用场景

包括机器人导航、人脸识别、手势识别等。参考OAK相机的部分应用场景:

使用OAK-D进行无人机导航和SLAM,自主仓库检查。

OAK-D-Lite室内自主导航机器人

扔掉你的鼠标,游戏手柄、电视遥控器吧,用AI和深度视觉来识别肢体语言,控制现实世界的物体。

▌二、结构光

0.基本原理

主要硬件有投射仪、相机,通过投射仪主动发射(因此称为主动测量)一束光源(通常是红外线激光)来照亮物体表面,并通过相机镜头来捕捉反射回来的光线。

OAK-D-Pro相机

在这个过程中,光线经过一个光学元件(例如衍射光栅或投射仪),以形成一个结构化的光斑(例如条纹或格子)。

当这个结构化光斑照射到物体表面时,它会产生形变,导致反射回相机的光斑也发生了畸变。通过分析这种畸变的形状和大小,深度相机可以计算出物体表面上每个像素点的深度信息,从而生成一张深度图。

1.优点

近距离(1米内)精度较高,毫米级。测量范围广、对光线和颜色的敏感度低等。主动投影,适合弱光照使用。

2.缺点

测量距离和分辨率存在一定的局限性。远距离精度差,随着距离的拉长,精度也随之变差。对环境光的干扰较大,室外强光照不宜使用,强光容易干扰投影光。

3.应用场景

包括3D扫描、机器视觉、机器人导航等。参考OAK相机的部分应用场景:

【开源OAK-D与TurtleBot3机器人项目】OAK-D点云和里程计

【开源】智能农业机器人BenchBot,可识别杂草,计算单位作物量。

▌三、ToF

0.基本原理

相机通过发送一束光到目标物体上,这个光的波长通常为红外线。当这束光被目标物体反射回来时,相机的光电二极管(PD)阵列接收反射光,并测量光的时间飞行(ToF)。基于ToF的测量技术可以计算光从相机到物体然后返回相机的时间,从而确定物体的距离。

因其主动发射脉冲光,也属于主动测量方式。

1.优点

因为是依靠投射自身光线的技术,所以它不需要任何外部光源来扫描周围环境,即使在光线很少或没有光线的情况下也能正常工作。TOF的测量距离较远,不受表面灰度和特征影响,达百米,可用于无人驾驶
深度距离计算,不会随距离的变化而变化,稳定在厘米级
不像双目相机、结构光需要经过算法处理才能输出三维数据,TOF可以直接输出被测物体三维数据

2.缺点

对环境的光强和干扰比较敏感,室外强光照基本不能使用。由于基于飞行时间的技术依赖于发射和接收自身光的反向反射,因此在自然环境中(例如暴露在阳光下)它们可能表现不佳,这是因为其他光源发出的波会干扰相机设备发出的光。类似地,还有其他因素使ToF传感器更难正常工作,如“反光”表面(在不同方向反射光)或角落(产生多次反射)等。

3.应用场景

客流统计、无人零售、虚拟现实、机器人导航等领域。参考OAK相机的部分应用场景:

将OAK相机装在机械臂上,实现3D目标检测定位,准确识别抓取物体!

【开源】OAK自动叉车项目,检测准确度更高。

▌四、总结

类别双目结构光ToF
软件复杂度中等
成本
精度
低光下性能
测距方式被动式主动式主动式
户外强光下工作无影响有影响有影响

▌五、特别说明

罗列的部分应用场景视频来自我们的用户,项目实际所用相机可能不是属于结构光或tof类的深度相机,但因为我们的产品具有兼容性,所以同一项目用不同种类的OAK相机均可正常使用!

都看这里了,至少点个赞已阅啊!

▌参考资料

https://docs.oakchina.cn/projects/api/tutorials/configuring-stereo-depth.html
https://www.oakchina.cn/2022/02/07/robotic-drones-avoidance/
https://www.cnblogs.com/hansjorn/p/15593170.html
https://picture.iczhiku.com/weixin/message1595412592554.html
https://cloud.tencent.com/developer/article/2104734


OAK中国
| OpenCV AI Kit在中国区的官方代理商和技术服务商
| 追踪AI技术和产品新动态

戳「+关注」获取最新资讯↗↗