HAFormer：释放层次感知特征在轻量级语义分割中的强大能力
计算机视觉与模式识别
2024-07-12 v2
摘要
卷积神经网络（CNNs）和 Transformer 在语义分割任务中都表现出色，人们努力将两者集成以捕获本地和全局语境相互作用。然而，在计算资源受限的情况下，仍有提升空间。本文引入 HAFormer，一种结合 CNNs 层次特征提取能力与 Transformer 全局依赖建模能力的模型，以应对轻量级语义分割挑战。具体而言，我们设计了层次感知像素激发（HAPE）模块，用于自适应多尺度局部特征提取。在全局感知建模期间，我们设计了高效 Transformer（ET）模块，以简化传统 Transformer 相关的二次计算。此外，我们提出了相关性加权融合（cwF）模块有选择地合并多样特征表示，显著提升预测准确性。HAFormer 在计算开销最小、模型尺寸紧凑的前提下实现了卓越的性能，在 Cityscapes 和 CamVid 测试数据集上分别达到 74.2% mIoU 和 71.1% mIoU，分别在单张 2080Ti GPU 上实现 105FPS 和 118FPS。源代码已公开 disponible at https://github.com/XU-GITHUB-curry/HAFormer。
引用
@article{arxiv.2407.07441,
title = {HAFormer: Unleashing the Power of Hierarchy-Aware Features for Lightweight Semantic Segmentation},
author = {Guoan Xu and Wenjing Jia and Tao Wu and Ligeng Chen and Guangwei Gao},
journal= {arXiv preprint arXiv:2407.07441},
year = {2024}
}
备注
13 pages, 10 figures, 8 tables, IEEE Transactions on Image Processing