用于 RGB-热成像语义分割的残差空间融合网络
计算机视觉与模式识别
2023-06-21 v1
摘要
语义分割在自动驾驶和机器人感知等广泛应用中发挥着重要作用。传统方法大多使用受光照条件（如黑暗）严重影响的 RGB 图像。近期研究表明，热图像作为分割的补充模态对夜间场景具有鲁棒性。然而，现有工作要么简单地融合 RGB-热（RGB-T）图像，要么对 RGB 流和热流采用相同结构的编码器，忽视了不同光照条件下分割中的模态差异。因此，本工作提出一种用于 RGB-T 语义分割的残差空间融合网络（RSFNet）。具体而言，我们采用非对称编码器来学习 RGB 与热图像的互补特征。为有效融合双模态特征，我们通过显著性检测生成伪标签以监督特征学习，并开发了带有结构重参数化的残差空间融合（RSF）模块，通过空间融合跨模态特征来学习更具前景的特征。RSF 采用分层特征融合以聚合多级特征，并应用带残差连接的空间权重，通过置信门自适应控制多光谱特征融合。在两个基准（即 MFNet 数据库和 PST900 数据库）上进行了大量实验。结果表明我们的方法具有最先进的分割性能，并在精度与速度间取得了良好平衡。
引用
@article{arxiv.2306.10364,
title = {Residual Spatial Fusion Network for RGB-Thermal Semantic Segmentation},
author = {Ping Li and Junjie Chen and Binbin Lin and Xianghua Xu},
journal= {arXiv preprint arXiv:2306.10364},
year = {2023}
}