PromptCAL：通过辅助提示的对比亲和度学习用于广义新类别发现
计算机视觉与模式识别
2023-03-28 v2
摘要
尽管现有半监督学习模型在利用未标注的分布内数据学习方面取得显著成功，但由于其闭集假设，它们大多无法从新颖语义类别采样的未标注数据中学习。在本工作中，我们面向一个务实但未被充分探索的广义新类别发现（GNCD）设定。GNCD 设定旨在利用部分标注已知类别的信息，对来自已知与新颖类别的未标注训练数据进行分类。我们提出一种带辅助视觉提示的两阶段对比亲和度学习方法，称为 PromptCAL，以解决这一挑战性问题。我们的方法发现可靠的成对样本亲和度，以对已知与新类别的类令牌与视觉提示学习更好的语义聚类。首先，我们提出一种判别性提示正则化损失，以增强提示适配的预训练视觉变换器的语义判别性，从而获得精炼的亲和关系。此外，我们提出对比亲和度学习，基于我们所提出的迭代半监督亲和图生成方法对语义表示进行校准，以提供语义增强的监督。大量实验评估表明，我们的 PromptCAL 方法即便在有限标注下也能更有效地发现新类别，并在通用与细粒度基准（例如，在 CUB-200 上整体准确率提升近 11%，在 ImageNet-100 上提升 9%）上超越当前最优（SOTA）。我们的代码见 https://github.com/sheng-eatamath/PromptCAL。
引用
@article{arxiv.2212.05590,
title = {PromptCAL: Contrastive Affinity Learning via Auxiliary Prompts for Generalized Novel Category Discovery},
author = {Sheng Zhang and Salman Khan and Zhiqiang Shen and Muzammal Naseer and Guangyi Chen and Fahad Khan},
journal= {arXiv preprint arXiv:2212.05590},
year = {2023}
}
备注
Accepted by CVPR2023