中文

CDPR:用于可靠单目深度估计的跨模态扩散与极化

计算机视觉与模式识别 2026-04-14 v1

摘要

单目深度估计是计算机视觉中的基础且具有挑战性的任务,尤其是在纹理缺失的表面、透明性和镜面反射等复杂条件下。最近的扩散方法通过将深度预测重新表述为潜在空间中的去噪过程,显著提升了性能。然而,现有方法仅依赖RGB输入,在挑战性区域往往缺乏足够的线索。本文提出了CDPR(Cross-modal Diffusion with Polarization for Reliable Monocular Depth Estimation)——一种集成物理驱动的极化先验,以提升估计鲁棒性的新型扩散框架。具体而言,我们通过预训练的变分自编码器(VAE)将RGB和极化(AoLP/DoLP)图像编码到共享潜在空间,并通过可学习的置信度感知门控机制动态融合多模态信息。该融合模块在极化输入中自适应抑制噪声信号,同时保留有关反射或透明表面的信息性线索,为后续的单目深度估计提供集成后的潜在表示。除了深度估计,我们进一步验证了该框架可轻松推广到表面法向预测,展示了其针对一般极化引导的稠密预测任务的可扩展性。在合成数据集和真实世界数据集上的实验表明,CDPR在挑战性区域显著优于仅使用RGB的基线方法,同时在标准场景中保持竞争性能。

关键词

引用

@article{arxiv.2604.11097,
  title  = {CDPR: Cross-modal Diffusion with Polarization for Reliable Monocular Depth Estimation},
  author = {Rongjia Yu and Tong Jia and Hao Wang and Xiaofang Li and Xiao Yang and Zinuo Zhang and Cuiwei Liu},
  journal= {arXiv preprint arXiv:2604.11097},
  year   = {2026}
}

备注

preprint version of IEEE TMM 2026 Regular Paper