可扩展的自回归单目深度估计
计算机视觉与模式识别
2025-03-20 v3
摘要
本文表明自回归模型是一种有效且可扩展的单目深度估计器。我们的想法很简单：基于两个核心设计，我们采用自回归预测范式来解决单目深度估计（MDE）任务。首先，我们的深度自回归模型（DAR）将不同分辨率的深度图视为一组 token，并使用逐块因果掩码执行从低分辨率到高分辨率的自回归目标。其次，我们的 DAR 递归地将整个深度范围离散化为更紧凑的区间，并以序数回归的方式实现从粗到细粒度的自回归目标。通过耦合这两个自回归目标，我们的 DAR 在 KITTI 和 NYU Depth v2 上以明显优势确立了新的最先进水平（SOTA）。此外，我们可扩展的方法允许将模型扩展至 2.0B，并在 KITTI 数据集上取得了 1.799 的最佳 RMSE（提升 5%），而当前 SOTA（Depth Anything）为 1.896。DAR 进一步展示了在未见数据集上的零样本泛化能力。这些结果表明，DAR 以自回归预测范式产生了卓越的性能，为现代自回归大模型（如 GPT-4o）配备深度估计能力提供了一种有前景的方法。
引用
@article{arxiv.2411.11361,
title = {Scalable Autoregressive Monocular Depth Estimation},
author = {Jinhong Wang and Jian Liu and Dongqi Tang and Weiqiang Wang and Wentong Li and Danny Chen and Jintai Chen and Jian Wu},
journal= {arXiv preprint arXiv:2411.11361},
year = {2025}
}
备注
Accepted by CVPR2025