D4D：用于提升单目深度估计的 RGBD 扩散模型
计算机视觉与模式识别
2024-05-28 v1
摘要
RGBD 真实数据是计算机视觉应用的基本数据；然而，这些标记样本难以收集且耗时。常见解决方案是使用图形引擎生成合成代理数据；但这些数据往往不反映真实世界图像，导致训练模型在推断阶段性能差。本文提出一种新型训练流程，集成 Diffusion4D (D4D)，一种定制化的 4 通道扩散模型，能够生成逼真的 RGBD 数据。我们展示了所开发解决方案在单目深度估计任务中的有效性，关键在于 RGB 与深度图之间的对应关系，以实现准确测量。我们的监督训练流程通过生成的样本增强，分别在室内 NYU Depth v2 和户外 KITTI 数据集上实现 RMSE 降低 (8.2%, 11.9%) 和 (8.1%, 6.1%)。
引用
@article{arxiv.2403.07516,
title = {D4D: An RGBD diffusion model to boost monocular depth estimation},
author = {L. Papa and P. Russo and I. Amerini},
journal= {arXiv preprint arXiv:2403.07516},
year = {2024}
}