基于隐原型对比增强的小样本分割
计算机视觉与模式识别
2022-03-09 v1 人工智能
摘要
小样本分割使模型能够以少量标注样本识别未见类别。大多数现有方法采用原型学习架构，其中支持原型向量被扩展并与查询特征拼接以执行条件分割。然而，此类框架可能更关注查询特征，而忽略支持与查询特征之间的相似性。本文提出一种利用隐原型的对比增强方法，以借助隐类别并提升原型与查询特征间相似性信息的利用率。具体而言，提出一个隐原型采样模块，基于特征相似性生成伪掩码与新原型。该模块便于进行端到端学习，且不像基于聚类的方法那样强依赖于聚类数目。此外，设计了一个对比增强模块，以驱动模型对相同查询特征给出不同预测。我们的方法可作为辅助模块灵活集成到其他基线中以获得更好的分割性能。大量实验表明，我们的方法显著提升了 SOTA 方法在 1-shot 与 5-shot 分割上的性能，尤其在 Pascal-5^i 与 COCO-20^i 上 5-shot 任务分别超越基线 5.9% 与 7.3%。源代码见 https://github.com/zhaoxiaoyu1995/CELP-Pytorch
引用
@article{arxiv.2203.04095,
title = {Contrastive Enhancement Using Latent Prototype for Few-Shot Segmentation},
author = {Xiaoyu Zhao and Xiaoqian Chen and Zhiqiang Gong and Wen Yao and Yunyang Zhang and Xiaohu Zheng},
journal= {arXiv preprint arXiv:2203.04095},
year = {2022}
}
备注
18 pages, 4 figures