面向小样本语义分割的中间原型挖掘 Transformer
计算机视觉与模式识别
2022-10-14 v1
摘要
小样本语义分割旨在根据少量带标注的支持图像对查询图像中的目标对象进行分割。以往大多数工作致力于从支持图像中挖掘更有效的类别信息以与查询图像中相应对象匹配。然而，它们都忽略了查询与支持图像之间的类别信息鸿沟。若其中对象表现出较大的类内多样性，强行将类别信息从支持迁移到查询是无效的。为解决该问题，我们首次引入中间原型，用于同时挖掘来自支持图像的确定性类别信息和来自查询图像的自适应类别知识。具体而言，我们设计了一种中间原型挖掘 Transformer (Intermediate Prototype Mining Transformer, IPMT)，以迭代方式学习原型。在每一 IPMT 层中，我们将支持与查询特征中的对象信息传播至原型，再用其激活查询特征图。通过迭代执行该过程，中间原型与查询特征均可逐步改善。最终，利用最终的查询特征生成精确分割预测。在 PASCAL-5i 和 COCO-20i 数据集上的大量实验清晰验证了我们的 IPMT 的有效性，并表明其大幅优于以往最先进方法。代码见 https://github.com/LIUYUANWEI98/IPMT
引用
@article{arxiv.2210.06780,
title = {Intermediate Prototype Mining Transformer for Few-Shot Semantic Segmentation},
author = {Yuanwei Liu and Nian Liu and Xiwen Yao and Junwei Han},
journal= {arXiv preprint arXiv:2210.06780},
year = {2022}
}
备注
Accepted to NeurIPS 2022