利用 Transformer 提升少样本语义分割
计算机视觉与模式识别
2021-08-06 v1
摘要
由于全监督语义分割方法需要充足的 fully-labeled 数据才能表现良好且无法泛化到未见类别，少样本分割已吸引大量研究关注。以往方法从支持图像和查询图像提取特征，在查询图像上做预测前对二者联合处理。整个过程基于卷积神经网络(CNN)，导致仅利用局部信息的问题。本文提出一种基于 TRansformer 的少样本语义分割方法(TRFS)。具体而言，我们的模型由两个模块组成：全局增强模块(GEM)与局部增强模块(LEM)。GEM 采用 transformer 块挖掘全局信息，而 LEM 利用常规卷积跨查询与支持特征挖掘局部信息。GEM 与 LEM 互补，有助于学习更好的特征表示以分割查询图像。在 PASCAL-5i 与 COCO 数据集上的大量实验表明，我们的方法取得了新的 SOTA 性能，证明了其有效性。
引用
@article{arxiv.2108.02266,
title = {Boosting Few-shot Semantic Segmentation with Transformers},
author = {Guolei Sun and Yun Liu and Jingyun Liang and Luc Van Gool},
journal= {arXiv preprint arXiv:2108.02266},
year = {2021}
}
备注
Technical report. Code and pretrained models will be available: https://github.com/GuoleiSun/TRFS