DELTAR：基于轻量级 ToF 传感器与 RGB 图像的深度估计
计算机视觉与模式识别
2022-09-28 v1
摘要
轻量级飞行时间(ToF)深度传感器体积小、成本低、能耗低，并已大量部署于移动设备上用于自动对焦、障碍物检测等目的。然而，由于其特定的测量方式（区域深度分布而非特定像素处的深度值）和极低的分辨率，它们不足以满足三维重建等需要高保真深度的应用。在本文中，我们提出 DELTAR，一种通过配合彩色图像赋予轻量级 ToF 传感器测量高分辨率精确深度能力的新方法。作为 DELTAR 的核心，我们提出了为深度分布定制的特征提取器以及基于注意力的神经架构，以高效融合来自彩色与 ToF 域的信息。为了在真实场景中评估我们的系统，我们设计了一种数据采集设备并提出一种校准 RGB 相机与 ToF 传感器的新方法。实验表明，我们的方法比现有的深度补全与深度超分辨率框架产生更准确的深度，并达到与消费级 RGB-D 传感器相当的性能。代码与数据可在 https://zju3dv.github.io/deltar/ 获取。
引用
@article{arxiv.2209.13362,
title = {DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image},
author = {Yijin Li and Xinyang Liu and Wenqi Dong and Han Zhou and Hujun Bao and Guofeng Zhang and Yinda Zhang and Zhaopeng Cui},
journal= {arXiv preprint arXiv:2209.13362},
year = {2022}
}
备注
Accepted to ECCV 2022. Project Page: https://zju3dv.github.io/deltar/