精确几何数据对稠密三维视觉任务的重要性
计算机视觉与模式识别
2023-03-28 v1
摘要
解决稠密 3D 视觉问题的基于学习的方法通常在 3D 传感器数据上训练。各自所用的测距原理具有优势与缺陷。由于多模态数据集的缺乏，这些通常在文献中未被比较或讨论。无纹理区域对运动恢复结构与立体视觉而言存在问题，反射材质对主动传感造成困扰，而半透明物体的距离用现有硬件难以测量。在不准确或 corrupted 数据上训练会引入模型偏差并损害泛化能力。若传感器测量在评估中被视为真值，这些效应便不会被察觉。本文研究了传感器误差对深度估计与重建等稠密 3D 视觉任务的影响。我们严格展示了传感器特性对所学预测的显著影响，并注意到日常家庭环境中由多种技术引起的泛化问题。为评估，我们引入一个精心设计的 dataset\footnote{dataset available at https://github.com/Junggy/HAMMER-dataset}，包含来自商用传感器的测量，即 D-ToF、I-ToF、被动/主动立体视觉和单目 RGB+P。我们的研究量化了可观的传感器噪声影响，并为改进稠密视觉估计与针对性数据融合铺平了道路。
引用
@article{arxiv.2303.14840,
title = {On the Importance of Accurate Geometry Data for Dense 3D Vision Tasks},
author = {HyunJun Jung and Patrick Ruhkamp and Guangyao Zhai and Nikolas Brasch and Yitong Li and Yannick Verdie and Jifei Song and Yiren Zhou and Anil Armagan and Slobodan Ilic and Ales Leonardis and Nassir Navab and Benjamin Busam},
journal= {arXiv preprint arXiv:2303.14840},
year = {2023}
}
备注
Accepted at CVPR 2023, Main Paper + Supp. Mat. arXiv admin note: substantial text overlap with arXiv:2205.04565