利用基础模型学习鲁棒相关性用于弱监督小样本分割
计算机视觉与模式识别
2024-05-31 v1
摘要
现有小样本分割（FSS）仅考虑在精确像素掩码下学习支持-查询相关性并分割未见类别。然而，训练过程中大量像素掩码的成本高昂。本文考虑一个更具挑战性的场景：弱监督小样本分割（WS-FSS），它仅提供类别（即图像级）标签。这要求模型在生成掩码不准确时学习鲁棒的支持-查询信息。在这项工作中，我们设计了一个基于基础模型的相关性增强网络（CORENet），它利用多信息引导来学习鲁棒的相关性。具体来说，相关性引导变换器（CGT）利用自监督ViT令牌从局部和全局角度学习鲁棒相关性。从语义类别的角度，类别引导模块（CGM）通过预训练的CLIP引导模型定位有价值的相关性。最后，嵌入引导模块（EGM）通过原始外观嵌入隐式引导模型补充相关性学习过程中不可避免的信息损失，并最终生成查询掩码。在PASCAL-5和COCO-20上的大量实验表明，与现有方法相比，CORENet表现出优异的性能。
引用
@article{arxiv.2405.19638,
title = {Learning Robust Correlation with Foundation Model for Weakly-Supervised Few-Shot Segmentation},
author = {Xinyang Huang and Chuang Zhu and Kebin Liu and Ruiying Ren and Shengjie Liu},
journal= {arXiv preprint arXiv:2405.19638},
year = {2024}
}