基于复杂室内场景的RGB-PD语义分割的PDDM：伪深度扩散模型
计算机视觉与模式识别
2025-03-25 v1
摘要
将RGB和深度模态集成显著增强了复杂室内场景语义分割的准确度，深度来自RGB-D摄像头的数据在这一过程中发挥着关键作用。然而，由于需要专业深度传感器，收集RGB-D数据集的成本高于RGB数据集；此外，对齐深度和RGB图像也面临传感器定位和数据缺失、噪声等挑战。相比之下，来自高精度深度估计算法的伪深度（PD）可消除对RGB-D传感器和对齐过程的依赖，提供有效深度信息并显示出在语义分割中巨大的潜力。因此，为探索伪深度替代真实深度用于语义分割的实际性，我们设计了RGB-PD分割管线集成RGB和伪深度，提出了伪深度聚合模块（PDAM）以充分利用由多样化伪深度图提供的丰富线索。PDAM将多个伪深度图聚合为单一模态，易于适配其他RGB-D分割方法。此外，预训练扩散模型作为RGB分割任务的强特征提取器，但多模态基于扩散的方法的语义分割尚未探索。因此，我们提出了伪深度扩散模型（PDDM），采用大规模文本-图像扩散模型作为特征提取器，采用简单而有效的融合策略集成伪深度。为验证伪深度和PDDM的适用性，我们在NYUv2和SUNRGB-D数据集上进行大量实验。实验结果表明，伪深度可有效提升分割性能，PDDM实现了最先进的性能，在NYUv2上超越其他方法+6.98 mIoU，在SUNRGB-D上超越+2.11 mIoU。
引用
@article{arxiv.2503.18393,
title = {PDDM: Pseudo Depth Diffusion Model for RGB-PD Semantic Segmentation Based in Complex Indoor Scenes},
author = {Xinhua Xu and Hong Liu and Jianbing Wu and Jinfu Liu},
journal= {arXiv preprint arXiv:2503.18393},
year = {2025}
}