参考两次：一种简洁统一的少样本实例分割基线方法
计算机视觉与模式识别
2024-08-09 v3
摘要
少样本实例分割（FSIS）需要在仅有少量支持样本的情况下检测并分割 novel 类别物体。基于区域提议网络（RPN）的现有方法面临两个问题：1）过拟合抑制 novel 类别物体；2）双分支模型需要复杂的空间关联策略，以在生成类别原型时防止空间信息丢失。我们提出一个统一框架——Reference Twice（RefT），以利用支持特征与查询特征之间的关系来处理 FSIS 及相关任务。我们的三个主要贡献是：1）一种新颖的基于 transformer 的基线方法，可避免过拟合，为 FSIS 提供新方向；2）证明在基础训练后支持物体查询编码了关键因素，从而可使用简单的交叉注意力在特征和查询两个层面上对查询特征进行两次增强，由此避免复杂的空间关联交互；3）引入类别增强的基础知识蒸馏损失，以解决类 DETR 模型因输入投影层而难以应对增量设置的问题，从而可轻松扩展至增量 FSIS。在 COCO 数据集上针对三种 FSIS 设置开展的广泛实验评估表明，我们的方法在不同 shot 下均优于现有方法，例如，在 10/30-shot 下相较最先进（state-of-the-art）方法取得 的性能提升。源代码与模型将发布于 https://github.com/hanyue1648/RefT。
引用
@article{arxiv.2301.01156,
title = {Reference Twice: A Simple and Unified Baseline for Few-Shot Instance Segmentation},
author = {Yue Han and Jiangning Zhang and Yabiao Wang and Chengjie Wang and Yong Liu and Lu Qi and Xiangtai Li and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2301.01156},
year = {2024}
}
备注
Accepted by T-PAMI