AutoDepthNet：利用商用深度与 RGB 相机的高帧率深度图重建
计算机视觉与模式识别
2023-05-25 v1 人工智能
摘要
深度相机已在计算机视觉、人工智能和视频游戏等多种领域中得到应用。然而，现有商用深度相机的高延迟与低帧率限制了其应用。我们提出一种快速且精确的深度图重建技术，以降低深度相机的延迟并提高帧率。我们的方法在混合相机设置中仅使用一台商用深度相机和一台彩色相机；我们的原型采用 Kinect Azure 深度相机(30 fps)和高速 RGB iPhone 11 Pro 相机(240 fps 采集)实现。所提出的网络 AutoDepthNet 是一种编码器-解码器模型，它从高速 RGB 相机捕获帧并与先前的深度帧结合，以重建高帧率深度图流。在 GPU 上，以 480 x 270 输出分辨率，我们的系统推理时间为 8 ms，通过并行处理可实现高达 200 fps 的实时使用。AutoDepthNet 能以 0.076 的平均 RMS 误差估计深度值，相比基于光流的对比方法提升 44.5%。我们的方法还可通过为缺失和无效像素估计深度值来改善深度图质量。所提方法可轻松应用于现有深度相机，并促进深度相机在需要高速深度估计的应用中的使用。我们还展示了该框架在上采样不同稀疏数据集(如视频对象分割)方面的有效性。作为方法演示，我们将框架集成到现有身体追踪系统中，并展示了所提方法在此类应用中的鲁棒性。
引用
@article{arxiv.2305.14731,
title = {AutoDepthNet: High Frame Rate Depth Map Reconstruction using Commodity Depth and RGB Cameras},
author = {Peyman Gholami and Robert Xiao},
journal= {arXiv preprint arXiv:2305.14731},
year = {2023}
}