Metric3Dv2：用于零样本度量深度和表面法向估计的通用单目几何基础模型
计算机视觉与模式识别
2025-01-06 v4
摘要
我们介绍 Metric3D v2，这是一个用于从单张图像进行零样本度量深度和表面法向估计的几何基础模型，这对于度量三维恢复至关重要。尽管深度和法向在几何上密切相关且互补，但它们面临着不同的挑战。现有单目深度方法通过学习仿射不变深度实现零样本泛化，这无法恢复真实世界的度量。而现有法向估计方法由于缺乏大规模标注数据，零样本性能有限。为此，我们分别针对度量深度估计和表面法向估计提出解决方案。对于度量深度估计，我们表明，零样本单视图模型的关键在于解决各种相机模型下的度量歧义问题，并通过大规模数据训练。我们提出了规范相机空间转换模块，显式地解决歧义问题，可轻松集成到现有单目模型中。对于表面法向估计，我们提出了联合深度-法向优化模块，从度量深度中提炼多样化数据知识，使估计器能够超越法向标签学习。凭借这些模块，我们的深度-法向模型可使用来自数千个不同类型标注相机的超过1600万张图像进行稳定训练，实现对来自未见相机设置的野外图像的零样本泛化。我们的方法实现了对随机收集的网络图像中三维结构的精确恢复，为可靠的单图像测量铺平了道路。我们的项目页面位于 https://JUGGHM.github.io/Metric3Dv2。
引用
@article{arxiv.2404.15506,
title = {Metric3Dv2: A Versatile Monocular Geometric Foundation Model for Zero-shot Metric Depth and Surface Normal Estimation},
author = {Mu Hu and Wei Yin and Chi Zhang and Zhipeng Cai and Xiaoxiao Long and Kaixuan Wang and Hao Chen and Gang Yu and Chunhua Shen and Shaojie Shen},
journal= {arXiv preprint arXiv:2404.15506},
year = {2025}
}
备注
Our project page is at https://JUGGHM.github.io/Metric3Dv2. Accpeted to TPAMI. arXiv admin note: text overlap with arXiv:2307.10984