面向实时 RGB-热红外野外场景语义分割的跨模态状态空间建模
计算机视觉与模式识别
2025-06-24 v1 机器人学
摘要
RGB 与热红外数据的整合可以显著提升野外环境中野外机器人的语义分割性能。然而，多源数据处理（例如基于 Transformer 的方法）带来了巨大的计算开销，给资源受限的系统带来了挑战。为了解决这一关键限制，我们引入了 CM-SSM，这是一种利用跨模态状态空间建模（SSM）方法的高效 RGB-热红外语义分割架构。我们的框架包含两个关键组件。首先，我们引入了跨模态二维选择性扫描（CM-SS2D）模块，在 RGB 和热红外模态之间建立 SSM，该模块构建跨模态视觉序列，并从一种模态推导出另一种模态的隐藏状态表示。其次，我们开发了跨模态状态空间关联（CM-SSA）模块，该模块有效地将来自 CM-SS2D 的全局关联与通过卷积操作提取的局部空间特征整合在一起。与基于 Transformer 的方法相比，CM-SSM 实现了相对于图像分辨率的线性计算复杂度。实验结果表明，CM-SSM 在 CART 数据集上以更少的参数和更低的计算成本实现了 SOTA 性能。在 PST900 数据集上的进一步实验证明了其泛化能力。代码可在 https://github.com/xiaodonguo/CMSSM 获取。
引用
@article{arxiv.2506.17869,
title = {Cross-modal State Space Modeling for Real-time RGB-thermal Wild Scene Semantic Segmentation},
author = {Xiaodong Guo and Zi'ang Lin and Luwen Hu and Zhihong Deng and Tong Liu and Wujie Zhou},
journal= {arXiv preprint arXiv:2506.17869},
year = {2025}
}