用于少样本分割的掩码匹配 Transformer

Siyu Jiao; Gengwei Zhang; Shant Navasardyan; Ling Chen; Yao Zhao; Yunchao Wei; Humphrey Shi

用于少样本分割的掩码匹配 Transformer

计算机视觉与模式识别 2023-01-04 v1

作者: Siyu Jiao , Gengwei Zhang , Shant Navasardyan , Ling Chen , Yao Zhao , Yunchao Wei , Humphrey Shi

摘要

本文旨在从新视角解决具有挑战性的少样本分割任务。典型方法遵循如下范式：首先从支持图像中学习原型特征，然后在像素级匹配查询特征以获得分割结果。然而，为获得满意的分割，此类范式需将匹配操作的学习与沉重的分割模块相耦合，限制了设计的灵活性并增加了学习复杂度。为缓解该问题，我们提出掩码匹配 Transformer（MM-Former），一种用于少样本分割任务的新范式。具体而言，MM-Former 首先使用类别无关的分割器将查询图像分解为多个候选分割块，然后应用简单的匹配机制，在支持图像引导下将相关候选分割块合并为最终掩码。我们的 MM-Former 具有双重优势：其一，MM-Former 遵循先分解后融合的范式，使我们的方法能受益于先进的潜在目标分割器，为查询图像生成高质量掩码候选；其二，原型特征的任务被放宽为在候选池中学习任务系数以融合正确候选，使 MM-Former 能很好地泛化至复杂场景或情形。我们在流行的 COCO- $20^i$ 和 Pascal- $5^i$ 基准上进行了大量实验。具有竞争力的结果充分证明了我们 MM-Former 的有效性与泛化能力。

关键词

少样本分割掩码匹配 Transformer 类别无关分割器原型特征

引用

@article{arxiv.2301.01208,
  title  = {Mask Matching Transformer for Few-Shot Segmentation},
  author = {Siyu Jiao and Gengwei Zhang and Shant Navasardyan and Ling Chen and Yao Zhao and Yunchao Wei and Humphrey Shi},
  journal= {arXiv preprint arXiv:2301.01208},
  year   = {2023}
}

备注

14 pages, 6 figures

用于少样本分割的掩码匹配 Transformer

摘要

关键词

引用

备注

相关论文