基于类条件对比学习的转导式 CLIP
计算机视觉与模式识别
2022-06-14 v1 人工智能
摘要
受视觉-语言预训练模型卓越的零样本泛化能力启发，我们试图利用 CLIP 模型的监督来减轻数据标注负担。然而，此类监督不可避免地包含标签噪声，会显著削弱分类模型的判别能力。本文提出 Transductive CLIP，一种从零开始利用含噪标签学习分类网络的新框架。首先，提出类条件对比学习机制，以减轻对伪标签的依赖并提升对噪声标签的容忍度。其次，采用集成标签作为伪标签更新策略，以稳定含噪标签深度神经网络的训练。该框架通过结合这两种技术，有效降低了来自 CLIP 模型的噪声标签影响。在多个基准数据集上的实验表明，该方法相较其他 SOTA 方法取得了显著提升。
引用
@article{arxiv.2206.06177,
title = {Transductive CLIP with Class-Conditional Contrastive Learning},
author = {Junchu Huang and Weijie Chen and Shicai Yang and Di Xie and Shiliang Pu and Yueting Zhuang},
journal= {arXiv preprint arXiv:2206.06177},
year = {2022}
}
备注
Published in IEEE ICASSP 2022