GeoBench:单变量几何估计模型的基准测试与分析
计算机视觉与模式识别
2024-06-24 v2
摘要
近期在判别式和生成式预训练方面的进展,催生了具备强大泛化能力的几何估计模型。虽然判别式单变量几何估计方法依赖大规模微调数据以实现零样本泛化,但若干生成式方法显示出在利用预训练扩散模型并仅微调少量合成训练数据的情况下,即可在未见场景上取得惊人的泛化性能。令人沮丧的是,这些模型在不同数据集上以不同配方训练,致使难以确定决定评估性能的关键因素。此外,当前的几何评估基准存在两个主要缺陷:即场景多样性有限以及标签质量不佳。为解决上述问题,我们(1)在统一代码库中构建公平且强大的基线,用于评估和分析几何估计模型;(2)在更具挑战性的基准上评估单变量几何估计器,涵盖更具多样性的场景和高质量标注。我们的结果表明,使用大规模数据进行预训练的判别式模型(如 DINOv2)在相同训练配置下,能够凭借少量高质量合成数据超越生成式模型,这表明微调数据质量比数据规模和模型架构更为关键。我们的观察也提出了一个问题:仅凭对通用视觉模型如 DINOv2 使用少量合成深度数据进行微调是否即可达到最新进展,我们是否真正需要复杂的生成式模型进行深度估计?我们认为本工作可推动几何估计任务及其广泛的下游应用的进步。
引用
@article{arxiv.2406.12671,
title = {GeoBench: Benchmarking and Analyzing Monocular Geometry Estimation Models},
author = {Yongtao Ge and Guangkai Xu and Zhiyue Zhao and Libo Sun and Zheng Huang and Yanlong Sun and Hao Chen and Chunhua Shen},
journal= {arXiv preprint arXiv:2406.12671},
year = {2024}
}
备注
Code and Benchmark are available at: https://github.com/aim-uofa/GeoBench