消除少样分割中的特征歧义
计算机视觉与模式识别
2024-07-16 v1
摘要
最近的少样分割（FSS）研究利用查询特征与支撑特征之间的像素级匹配，通常基于注意力机制，选择性激活与相同类别支撑前景（FG）特征对应的查询前景特征。然而，由于深度网络层的感受野较大，提取的查询和支撑FG特征不可避免地混合了背景（BG）特征，阻碍了FG-FG匹配。因此，查询FG特征与较少的支撑FG特征融合，即支撑信息未得到充分利用。本文提出一种新型插件——消除歧义网络（AENet），可插入任何现有的注意力机制-based FSS方法中。其核心思想是挖掘判别性查询FG区域，以修正模糊的FG特征，增加FG信息比例，以抑制掺杂的BG特征的负面影响。如此一来，FG-FG匹配自然得到增强。我们将AENet插入三个基线方法CyCTR、SCCAN和HDMNet进行评估，其得分均获得显著提升，例如SCCAN在PASCAL-5和COCO-20上的1-shot性能提升3.0%以上。代码已公开于 https://github.com/Sam1224/AENet。
引用
@article{arxiv.2407.09842,
title = {Eliminating Feature Ambiguity for Few-Shot Segmentation},
author = {Qianxiong Xu and Guosheng Lin and Chen Change Loy and Cheng Long and Ziyue Li and Rui Zhao},
journal= {arXiv preprint arXiv:2407.09842},
year = {2024}
}
备注
This paper is accepted by ECCV'24