我的深度真值足够好吗？HAMMER——用于稠密 3D 场景回归的高精度多模态数据集
计算机视觉与模式识别
2022-05-11 v1
摘要
深度估计是 3D 计算机视觉的核心任务。近期方法探究了使用多种深度传感器模态训练的单目深度估计任务。每种传感器因其估计本质而各有优劣。文献中大多仅考察深度的平均误差，且通常未讨论传感器能力。然而，尤其是室内环境给某些设备带来挑战：无纹理区域对运动恢复结构造成困难，反射材料对主动传感存在问题，而半透明材料的距离用现有传感器难以测量。本文提出 HAMMER，一个包含多种常用室内深度估计传感器深度估计的数据集，即 ToF、立体、结构光以及单目 RGB+P 数据。我们借助 3D 扫描仪和对齐渲染构建了高可靠真值深度图。一个流行的深度估计器在该数据及典型深度传感器上进行了训练。我们对估计结果在不同场景结构上的表现进行了广泛分析。我们注意到，在具有挑战性但属日常内容的家庭环境中，由各种传感器技术引起的泛化问题。我们公开提供的 HAMMER 为针对性深度改进与传感器融合方法奠定了可靠基础。
引用
@article{arxiv.2205.04565,
title = {Is my Depth Ground-Truth Good Enough? HAMMER -- Highly Accurate Multi-Modal Dataset for DEnse 3D Scene Regression},
author = {HyunJun Jung and Patrick Ruhkamp and Guangyao Zhai and Nikolas Brasch and Yitong Li and Yannick Verdie and Jifei Song and Yiren Zhou and Anil Armagan and Slobodan Ilic and Ales Leonardis and Benjamin Busam},
journal= {arXiv preprint arXiv:2205.04565},
year = {2022}
}