通过显著性提示无监督预训练提升低数据实例分割
计算机视觉与模式识别
2023-02-03 v1 人工智能
摘要
近来，受 DETR 变体启发，基于查询的端到端实例分割（QEIS）方法在大规模数据集上超越了基于 CNN 的模型。然而，当仅有少量训练数据可用时，它们会失效，因为关键的查询/核难以学习定位和形状先验。为此，本文提供了一种针对低数据情形的新颖无监督预训练方案。受近期 Prompting 技术成功的启发，我们引入了一种新的预训练方法，通过为查询/核提供显著性提示（Saliency Prompt）来提升 QEIS 模型。我们的方法包含三部分：1）显著性掩码提议负责基于显著性机制从非标注图像生成伪掩码。2）提示-核匹配将伪掩码转化为提示，并将相应的定位和形状先验注入最佳匹配核。3）核监督用于在核层级提供监督以实现鲁棒学习。从实践角度看，我们的预训练方法帮助 QEIS 模型在低数据情形下达到与基于 CNN 的模型相似的收敛速度和可比性能。实验结果表明，我们的方法在三个数据集上显著提升了若干 QEIS 模型。代码将公开。
引用
@article{arxiv.2302.01171,
title = {Boosting Low-Data Instance Segmentation by Unsupervised Pre-training with Saliency Prompt},
author = {Hao Li and Dingwen Zhang and Nian Liu and Lechao Cheng and Yalun Dai and Chao Zhang and Xinggang Wang and Junwei Han},
journal= {arXiv preprint arXiv:2302.01171},
year = {2023}
}