基于循环一致Transformer的小样本分割
计算机视觉与模式识别
2022-03-09 v4
摘要
小样本分割旨在训练一个能够利用少量样本快速适应新类别的分割模型。传统的训练范式是学习在来自支持图像的特征条件下对查询图像进行预测。先前的方法仅利用支持图像的语义级原型作为条件信息。这些方法无法利用所有像素级支持信息来进行查询预测，然而这对分割任务至关重要。本文中，我们专注于利用支持图像与查询图像之间的像素级关系来促进小样本分割任务。我们设计了一种新颖的循环一致Transformer（Cycle-Consistent TRansformer, CyCTR）模块，将像素级支持特征聚合到查询特征中。CyCTR 在不同图像（即支持图像与查询图像）的特征之间执行交叉注意力。我们观察到可能存在意外的不相关像素级支持特征。直接执行交叉注意力可能会将这些来自支持图像的特征聚合到查询图像中并偏置查询特征。因此，我们提出使用一种新颖的循环一致注意力机制来过滤掉可能有害的支持特征，并鼓励查询特征关注来自支持图像中最具信息量的像素。在所有小样本分割基准上的实验表明，我们提出的 CyCTR 相较先前的最先进方法带来了显著改进。具体而言，在 Pascal- 和 COCO- 数据集上，我们在 5-shot 分割中分别取得了 67.5% 和 45.6% 的 mIoU，分别优于先前最先进方法 5.6% 和 7.1%。
引用
@article{arxiv.2106.02320,
title = {Few-Shot Segmentation via Cycle-Consistent Transformer},
author = {Gengwei Zhang and Guoliang Kang and Yi Yang and Yunchao Wei},
journal= {arXiv preprint arXiv:2106.02320},
year = {2022}
}
备注
Advances in Neural Information Processing Systems (NeurIPS), 2021. Project: https://github.com/GengDavid/CyCTR