中文

InSpaceType:重新审视室内单目深度估计中的空间类型

计算机视觉与模式识别 2024-01-31 v2 机器人学

摘要

室内单目深度估计已引起日益增长的研究兴趣。以往多数工作聚焦于方法学,主要以NYU-Depth-V2 (NYUv2)数据集进行实验,且仅关注测试集上的整体性能。然而,当将单目深度估计方法应用于存在高度变化且多样的功能性\textit{空间类型}(如图书馆或厨房)的真实场景时,关于鲁棒性与泛化能力的认知甚少。按空间类型进行性能拆解的研究对于认识预训练模型的性能差异至关重要。为促进我们对鲁棒性的研究并解决以往工作的局限,我们收集了InSpaceType,一个面向通用室内环境的高质量高分辨率RGBD数据集。我们在InSpaceType上对12种近期方法进行了基准测试,发现它们严重遭受 concerning空间类型的性能不平衡,这揭示了其潜在偏差。我们将分析扩展至另外4个数据集、3种缓解方法以及对未见空间类型的泛化能力。我们的工作标志着首个针对室内单目深度估计跨空间类型性能不平衡的深入探究,提请注意在不考虑空间类型的情况下部署模型潜在的安全问题,并进一步为提升鲁棒性指明可能的途径。数据与补充文档见\url{https://depthcomputation.github.io/DepthPublic}。GitHub项目页上的基准列表持续更新最新单目深度估计方法。

关键词

引用

@article{arxiv.2309.13516,
  title  = {InSpaceType: Reconsider Space Type in Indoor Monocular Depth Estimation},
  author = {Cho-Ying Wu and Quankai Gao and Chin-Cheng Hsu and Te-Lin Wu and Jing-Wen Chen and Ulrich Neumann},
  journal= {arXiv preprint arXiv:2309.13516},
  year   = {2024}
}

备注

Add Depth-Anything