BetterDepth：用于零样本单目深度估计的即插即用扩散精炼器
计算机视觉与模式识别
2024-11-07 v2
摘要
通过在大规模数据集上训练，零样本单目深度估计 (MDE) 方法在野外环境中表现稳健，但常常存在细节不足的问题。虽然最近的基于扩散的 MDE 方法在提取细节方面表现出优越能力，但在几何复杂的场景中受限于其几何先验（训练时使用的数据集几乎不够多样化），往往难以应对。为了发挥两者优势的互补性，本文提出 BetterDepth 以实现几何正确的仿射不变 MDE，同时捕获细节。具体而言，BetterDepth 是一种条件扩散精炼器，将预训练 MDE 模型的预测结果作为深度条件输入（全局深度布局已被良好捕获），并基于输入图像迭代细化。为训练此精炼器，我们提出全局预对齐和局部遮罩方法，以确保 BetterDepth 在保持深度条件忠实度的同时学习添加细粒度场景细节。在小规模合成数据集上高效训练后，BetterDepth 在多样化的公开数据集和野外场景上实现了零样本 MDE 的最新性能。此外，BetterDepth 可以即插即用的方式提升其他 MDE 模型的性能，而无需进一步训练。
引用
@article{arxiv.2407.17952,
title = {BetterDepth: Plug-and-Play Diffusion Refiner for Zero-Shot Monocular Depth Estimation},
author = {Xiang Zhang and Bingxin Ke and Hayko Riemenschneider and Nando Metzger and Anton Obukhov and Markus Gross and Konrad Schindler and Christopher Schroers},
journal= {arXiv preprint arXiv:2407.17952},
year = {2024}
}
备注
NeurIPS 2024