一种简单有效的零样本单目度量深度估计测试时自适应方法
计算机视觉与模式识别
2025-12-01 v3
摘要
近期单目深度估计基础模型（如Depth Anything）的发展为零样本单目深度估计铺平了道路。由于该模型返回的是仿射不变视差图，恢复度量深度的常用技术是对模型进行微调。然而，这一阶段并不简单，由于训练和数据集的创建，可能成本高昂且耗时。数据集必须包含测试时所用相机拍摄的图像以及对应的真实值。此外，微调还可能降低原始模型的泛化能力。本文提出了一种新方法，利用传感器或技术（如低分辨率LiDAR或基于IMU位姿的运动恢复结构）提供的3D点来重新缩放Depth Anything的预测结果。该方法避免了微调，保留了原始深度估计模型的泛化能力，同时对稀疏深度噪声、相机-LiDAR标定噪声或深度模型噪声具有鲁棒性。我们的实验表明，该方法相对于零样本单目度量深度估计方法有提升，与微调方法相比具有竞争力的结果，并且比深度补全方法具有更好的鲁棒性。代码见github.com/ENSTA-U2IS-AI/depth-rescaling。
引用
@article{arxiv.2412.14103,
title = {A Simple yet Effective Test-Time Adaptation for Zero-Shot Monocular Metric Depth Estimation},
author = {Rémi Marsal and Alexandre Chapoutot and Philippe Xu and David Filliat},
journal= {arXiv preprint arXiv:2412.14103},
year = {2025}
}
备注
Published at IROS 2025 https://ieeexplore.ieee.org/document/11247168