通过实例感知数据增强与局部共识引导的交叉注意力提升小样本分割
计算机视觉与模式识别
2024-01-19 v1
摘要
小样本分割旨在训练一个分割模型，使其能够快速适应仅提供少量标注图像的新任务。最近的大多数模型在小样本推理中采用了基于原型的范式。这些方法在标准 1-shot 或 5-shot 设置之外的泛化能力可能有限。在本文中，我们仔细检查并重新评估了基于微调的学习方案，该方案对在多样化基类上预训练的深度分割网络的分类层进行微调。为了提高用稀疏标注样本优化的分类层的泛化能力，我们引入了一种实例感知数据增强（IDA）策略，该策略根据目标对象的相对大小对支持图像进行增强。提出的 IDA 有效地增加了支持集的多样性，并促进了支持图像和查询图像之间的分布一致性。另一方面，查询图像和支持图像之间的巨大视觉差异可能会阻碍知识转移并削弱分割性能。为了应对这一挑战，我们引入了局部共识引导的交叉注意力（LCCA），基于它们的密集相关性将查询特征与支持特征对齐，进一步提高模型对查询图像的泛化能力。在标准小样本分割基准 PASCAL- 和 COCO- 上的显著性能提升验证了我们提出方法的有效性。
引用
@article{arxiv.2401.09866,
title = {Boosting Few-Shot Segmentation via Instance-Aware Data Augmentation and Local Consensus Guided Cross Attention},
author = {Li Guo and Haoming Liu and Yuxuan Xia and Chengyu Zhang and Xiaochen Lu},
journal= {arXiv preprint arXiv:2401.09866},
year = {2024}
}