CATrans：用于小样本分割的上下文与亲和力Transformer
计算机视觉与模式识别
2022-04-28 v1
摘要
小样本分割（FSS）旨在给定少量带标注的支持图像的情况下分割新类别。FSS的关键在于如何聚合支持图像与查询图像之间的密集相关性以进行查询分割，同时对表观和上下文中的巨大变化保持鲁棒。为此，以往基于Transformer的方法探索了支持-查询对之间在上下文相似性或亲和力图上的全局一致性。在本工作中，我们通过所提出的新颖的上下文与亲和力Transformer（CATrans），在一个分层架构中有效整合了上下文和亲和力信息。具体而言，关系引导的上下文Transformer（RCT）以信息更丰富的支持特征为条件，将上下文信息从支持图像传播到查询图像。基于支持与查询对之间巨大的特征差异为上下文知识迁移带来障碍这一观察，关系引导的亲和力Transformer（RAT）测量注意力感知的亲和力作为FSS的辅助信息，其中自亲和力负责实现更可靠的交叉亲和力。我们通过实验证明了所提模型的有效性，其性能优于当前最先进的方法。
引用
@article{arxiv.2204.12817,
title = {CATrans: Context and Affinity Transformer for Few-Shot Segmentation},
author = {Shan Zhang and Tianyi Wu and Sitong Wu and Guodong Guo},
journal= {arXiv preprint arXiv:2204.12817},
year = {2022}
}
备注
Accepted by IJCAI 2022