HDBFormer：一种高效异构双分支框架用于 RGB-D 语义分割
计算机视觉与模式识别
2025-04-21 v1
摘要
在 RGB-D 语义分割 indoor 场景中，关键挑战在于有效整合来自 RGB 图像的丰富颜色信息与来自深度图像的空间距离信息。然而，大多数现有方法忽视了 RGB 和深度图像表达信息的内在差异。正确区分处理 RGB 和深度图像是充分发挥其独特显著特征的关键。为此，我们提出一种新颖的异构双分支框架，名为 HDBFormer，专为处理这些模态差异而设计。对于包含丰富细节的 RGB 图像，我们采用基本编码器和细节编码器提取局部和全局特征。对于较简单的深度图像，我们提出了 LDFormer，一种轻量级分层编码器，高效提取深度特征且参数更少。此外，我们引入了模态信息交互模块（MIIM），将变换器与大卷积核相结合，高效地在模态之间交互全局和局部信息。广泛的实验表明，HDBFormer 在 NYUDepthv2 和 SUN-RGBD 数据集上实现了最先进的性能。代码已公开：https://github.com/Weishuobin/HDBFormer。
引用
@article{arxiv.2504.13579,
title = {HDBFormer: Efficient RGB-D Semantic Segmentation with A Heterogeneous Dual-Branch Framework},
author = {Shuobin Wei and Zhuang Zhou and Zhengan Lu and Zizhao Yuan and Binghua Su},
journal= {arXiv preprint arXiv:2504.13579},
year = {2025}
}
备注
6 pages, 4 figures, published to IEEE Signal Processing Letter