自适应小样本分割：一种基于原型增强的新型框架
计算机视觉与模式识别
2024-01-10 v4
摘要
小样本分割旨在利用少量标注图像完成新类别分割任务。当前基于元学习的小样本分割研究侧重于设计查询和支持特征之间的复杂交互机制。然而，与人类能从有限样本快速学习新事物不同，现有方法仅依赖固定特征匹配来处理新任务，缺乏适应性。本文提出一种基于适配器机制的新框架，即Adaptive FSS，能高效地将现有小样本分割模型适应到新类别。具体地，我们设计原型自适应模块，利用支持集提供的准确类别信息推导类别原型，增强多阶段表示中的类别特定信息。此外，我们的方法通过简单地在编码器层间插入PAM，兼容不同骨干网络的各种小样本分割方法。实验表明，我们的方法有效提升了小样本分割模型（如MSANet、HDMNet、FPTrans和DCAMA）的性能，并在PASCAL-5^i 1-shot和5-shot设置下分别达到72.4%和79.1% mIoU，在COCO-20^i 1-shot和5-shot设置下分别达到52.7%和60.0% mIoU，实现了新的最先进结果。代码见https://github.com/jingw193/AdaptiveFSS。
引用
@article{arxiv.2312.15731,
title = {Adaptive FSS: A Novel Few-Shot Segmentation Framework via Prototype Enhancement},
author = {Jing Wang and Jinagyun Li and Chen Chen and Yisi Zhang and Haoran Shen and Tianxiang Zhang},
journal= {arXiv preprint arXiv:2312.15731},
year = {2024}
}