聚焦查询：面向少样本分割的对抗挖掘 Transformer
计算机视觉与模式识别
2023-11-30 v1
摘要
少样本分割（FSS）旨在仅给定少量标注样本的情况下分割新类别的物体。以往工作致力于探索支持信息，却较少关注关键查询分支的挖掘。本文中，我们重新思考支持信息的重要性，并提出一种以查询为中心的新 FSS 模型——对抗挖掘 Transformer（AMFormer），该模型仅借助粗略的支持引导甚至弱支持标签即可实现准确的查询图像分割。所提出的 AMFormer 具有若干优点。首先，我们设计了一个物体挖掘 Transformer（G），能够实现由支持线索激活的不完整区域的扩展，以及一个细节挖掘 Transformer（D），用于判别扩展掩码与真实标注之间的详细局部差异。其次，我们提出通过对抗过程训练 G 和 D，其中 G 被优化以生成更接近真实标注的准确掩码来欺骗 D。我们在常用的 Pascal-5i 和 COCO-20i 基准上进行了大量实验，并在所有设定下取得了最先进（SOTA）的结果。此外，我们以查询为中心的范式在弱支持标签下所取得的良好性能，或可启发更通用 FSS 模型的发展。代码将发布于 https://github.com/Wyxdm/AMNet。
引用
@article{arxiv.2311.17626,
title = {Focus on Query: Adversarial Mining Transformer for Few-Shot Segmentation},
author = {Yuan Wang and Naisong Luo and Tianzhu Zhang},
journal= {arXiv preprint arXiv:2311.17626},
year = {2023}
}
备注
Accepted to NeurIPS 2023