SteeredMarigold：引导扩散模型实现高度不完整深度图的深度补全
机器人学
2025-02-27 v2 计算机视觉与模式识别
摘要
尽管部署在真实环境中的 RGB-D 传感器捕获的深度图通常具有大面积缺失有效深度测量的特征，但绝大多数深度补全方法仍假设深度值覆盖场景的所有区域。为解决这一局限性，我们引入了 SteeredMarigold，这是一种无需训练、零样本的深度补全方法，即使对于高度不完整的深度图也能生成具有度量信息的稠密深度。SteeredMarigold 通过使用可用的稀疏深度点作为条件来引导去噪扩散概率模型来实现这一点。我们的方法在 NYUv2 数据集上超越了相关的顶尖方法，在未提供大面积区域深度的测试中实现了 SOTA 性能，并对深度图的不完整性表现出显著的鲁棒性。我们的源代码已在 https://steeredmarigold.github.io 公开。
引用
@article{arxiv.2409.10202,
title = {SteeredMarigold: Steering Diffusion Towards Depth Completion of Largely Incomplete Depth Maps},
author = {Jakub Gregorek and Lazaros Nalpantidis},
journal= {arXiv preprint arXiv:2409.10202},
year = {2025}
}