S$^2$-FPN：用于实时语义分割的尺度感知条带注意力引导特征金字塔网络
计算机视觉与模式识别
2024-05-21 v3 人工智能
摘要
现代高性能语义分割方法采用沉重的主干网络和空洞卷积来提取相关特征。尽管提取兼具上下文与语义信息的特征对分割任务至关重要，但这给实时应用带来了内存占用和高计算成本。本文提出一种新模型，以在实时道路场景语义分割的精度与速度之间取得权衡。具体而言，我们提出了一种名为尺度感知条带注意力引导特征金字塔网络（S-FPN）的轻量模型。我们的网络由三个主要模块组成：注意力金字塔融合（APF）模块、尺度感知条带注意力模块（SSAM）和全局特征上采样（GFU）模块。APF 采用注意力机制学习有判别力的多尺度特征并帮助缩小不同层级间的语义鸿沟。APF 利用尺度感知注意力通过垂直条带化操作编码全局上下文并建模长程依赖，有助于关联具有相似语义标签的像素。此外，APF 采用通道重加权块（CRB）以增强通道特征。最后，S-FPN 的解码器采用 GFU 来融合来自 APF 和编码器的特征。我们在两个具有挑战性的语义分割基准上进行了大量实验，表明我们的方法在不同模型设置下取得了更好的精度/速度权衡。所提模型在 Cityscapes 数据集上取得了 76.2\%mIoU/87.3FPS、77.4\%mIoU/67FPS 和 77.8\%mIoU/30.5FPS 的结果，在 Camvid 数据集上取得了 69.6\%mIoU、71.0\% mIoU 和 74.2\% mIoU。本工作的代码将发布于 \url{https://github.com/mohamedac29/S2-FPN
引用
@article{arxiv.2206.07298,
title = {S$^2$-FPN: Scale-ware Strip Attention Guided Feature Pyramid Network for Real-time Semantic Segmentation},
author = {Mohammed A. M. Elhassan and Chenhui Yang and Chenxi Huang and Tewodros Legesse Munea and Xin Hong and Abuzar B. M. Adam and Amina Benabid},
journal= {arXiv preprint arXiv:2206.07298},
year = {2024}
}