利用散焦模糊线索重新利用 Marigold 进行零样本度量深度估计
计算机视觉与模式识别
2025-05-26 v1
摘要
近期单目度量深度估计（MMDE）方法在零样本泛化方面取得了显著进展。然而，它们在分布外数据集上仍表现出显著的性能下降。本文通过在推理阶段向 Marigold——一个用于零样本、尺度不变单目深度估计（MDE）的预训练扩散模型——注入散焦模糊线索来解决这一限制。我们的方法以训练无关的方式有效地将 Marigold 转变为度量深度预测器。为纳入散焦线索，我们从同一视角拍摄两张具有小光圈和大光圈的照片。为恢复度量深度，我们随后利用基于散焦模糊图像形成模型的损失函数梯度，在推理时优化 Marigold 的度量深度缩放参数和噪声潜变量。我们在自收集的真实数据集上将本方法与现有最先进的零样本 MMDE 方法进行了比较，展示了定量和定性的改进。
引用
@article{arxiv.2505.17358,
title = {Repurposing Marigold for Zero-Shot Metric Depth Estimation via Defocus Blur Cues},
author = {Chinmay Talegaonkar and Nikhil Gandudi Suresh and Zachary Novack and Yash Belhe and Priyanka Nagasamudra and Nicholas Antipa},
journal= {arXiv preprint arXiv:2505.17358},
year = {2025}
}