一致的直测飞行时间视频深度超分辨率
图像与视频处理
2023-05-05 v2 计算机视觉与模式识别
摘要
直测飞行时间（dToF）传感器在下一代设备上 3D 感知中颇具前景。然而，受紧凑模块制造能力限制，dToF 数据空间分辨率较低（例如 iPhone dToF 约为 ），其在传入下游任务前需经超分辨率步骤。本文通过融合低分辨率 dToF 数据与相应高分辨率 RGB 引导来解决该超分辨率问题。与以逐帧方式执行融合的传统 RGB 引导深度增强方法不同，我们提出首个多帧融合方案，以缓解低分辨率 dToF 成像导致的空间模糊。此外，dToF 传感器为每个局部块提供独特的深度直方图信息，我们在网络设计中融入该 dToF 特有特征以进一步减轻空间模糊。为在复杂动态室内环境下评估我们的模型并提供大规模 dToF 传感器数据集，我们引入 DyDToF，首个具有动态对象且遵循物理成像过程的逼真 dToF 模拟器的合成 RGB-dToF 视频数据集。我们相信随着 dToF 深度感知在移动设备上成为主流，该方法和数据集将惠及广泛社区。我们的代码与数据公开可用：https://github.com/facebookresearch/DVSR/
引用
@article{arxiv.2211.08658,
title = {Consistent Direct Time-of-Flight Video Depth Super-Resolution},
author = {Zhanghao Sun and Wei Ye and Jinhui Xiong and Gyeongmin Choe and Jialiang Wang and Shuochen Su and Rakesh Ranjan},
journal= {arXiv preprint arXiv:2211.08658},
year = {2023}
}