基于上下文引导的空间特征重建实现高效语义分割
计算机视觉与模式识别
2024-07-19 v2
摘要
语义分割是众多应用中的一项重要任务，但在有限的计算成本下实现先进性能仍颇具挑战。本文提出 CGRSeg，一种基于上下文引导空间特征重建的高效且具有竞争力的分割框架。我们精心设计了一个矩形自校准模块，用于空间特征重建和金字塔上下文提取。该模块在水平和垂直方向上捕获轴向全局上下文，以显式建模矩形关键区域。设计了一个形状自校准函数，使关键区域更接近前景对象。此外，提出了一种轻量级动态原型引导头，通过显式类别嵌入来改进前景对象的分类。我们的 CGRSeg 在 ADE20K、COCO-Stuff 和 Pascal Context 基准上进行了广泛评估，并取得了最先进的语义分割性能。具体而言，它在 ADE20K 上仅用 4.0 GFLOPs 就达到了 43.6% 的 mIoU，比 SeaFormer 和 SegNeXt 分别高出 0.9% 和 2.5% 的 mIoU，但 GFLOPs 减少了约 38.0%。代码可在 https://github.com/nizhenliang/CGRSeg 获取。
引用
@article{arxiv.2405.06228,
title = {Context-Guided Spatial Feature Reconstruction for Efficient Semantic Segmentation},
author = {Zhenliang Ni and Xinghao Chen and Yingjie Zhai and Yehui Tang and Yunhe Wang},
journal= {arXiv preprint arXiv:2405.06228},
year = {2024}
}
备注
ECCV 2024