ZoeDepth:通过结合相对深度与度量深度实现零样本迁移
计算机视觉与模式识别
2023-02-27 v1
摘要
本文解决从单幅图像进行深度估计的问题。现有工作要么关注泛化性能而忽略度量尺度,即相对深度估计,要么关注特定数据集上的最优结果,即度量深度估计。我们提出了第一种结合两个世界的方法,得到一个具有优异泛化性能同时保持度量尺度的模型。我们的旗舰模型ZoeD-M12-NK使用相对深度在12个数据集上预训练,并使用度量深度在2个数据集上微调。我们为每个域使用带有称为度量箱模块的新型箱调整设计的轻量级头。在推理过程中,每个输入图像通过使用潜分类器自动路由到适当的头。我们的框架根据用于相对深度预训练和度量微调的数据集允许多种配置。无需预训练,我们已能在NYU Depth v2室内数据集上显著改进当前最优(SOTA)。在12个数据集上预训练并在NYU Depth v2室内数据集上微调,我们可以进一步改进SOTA,在相对绝对误差(REL)方面总计提升21%。最后,ZoeD-M12-NK是第一个可以在多个数据集(NYU Depth v2和KITTI)上联合训练而不会显著性能下降,并对来自室内和室外域的八个未见数据集实现前所未有的零样本泛化性能的模型。代码和预训练模型公开于https://github.com/isl-org/ZoeDepth。
引用
@article{arxiv.2302.12288,
title = {ZoeDepth: Zero-shot Transfer by Combining Relative and Metric Depth},
author = {Shariq Farooq Bhat and Reiner Birkl and Diana Wofk and Peter Wonka and Matthias Müller},
journal= {arXiv preprint arXiv:2302.12288},
year = {2023}
}