基于脑神经元模型的 RGB-T 道路场景语义分割多迭代交互网络
计算机视觉与模式识别
2025-03-26 v1
摘要
RGB-T 道路场景语义分割通过融合 RGB 和热成像图像信息，增强了在光照不足或遮挡等复杂环境下的视觉场景理解能力。然而，现有的 RGB-T 语义分割模型通常依赖于简单相加或拼接策略，或忽略不同层级信息之间的差异。为此，本文提出一种新型的 RGB-T 道路场景语义分割网络，称为脑神经元模型驱动的多迭代交互网络 (BIMII-Net)。首先，基于脑神经元模型，提出一种深度连续耦合神经网络 (DCCNN) 架构，以满足准确提取纹理和局部信息的需求。其次，设计了跨显式注意力增强融合模块 (CEAEF-Module) 于 BIMII-Net 的特征融合阶段，以有效整合不同层级的特征。最后，构建了互补的多层解码器结构，包含浅层特征迭代模块 (SFI-Module)、深层特征迭代模块 (DFI-Module) 和多特征增强模块 (MFE-Module)，协同提取纹理细节和全局骨架信息，并通过多模块联合监督进一步优化分割结果。实验结果表明，BIMII-Net 在神经形态计算领域实现了最新水平 (SOTA) 性能，优于大多数现有的 RGB-T 语义分割方法。它在多个 RGB-T 数据集上表现出强大的泛化能力，证明了脑神经元模型在多模态图像分割任务中的有效性。
关键词
引用
@article{arxiv.2503.19303,
title = {BIMII-Net: Brain-Inspired Multi-Iterative Interactive Network for RGB-T Road Scene Semantic Segmentation},
author = {Hanshuo Qiu and Jie Jiang and Ruoli Yang and Lixin Zhan and Jizhao Liu},
journal= {arXiv preprint arXiv:2503.19303},
year = {2025}
}