利用核方法在对比学习中融入先验知识
计算机视觉与模式识别
2023-05-31 v2
摘要
数据增强是无监督对比学习（CL）的关键组成部分。它决定了正样本如何定义，并最终决定所学表征的质量。本文中，我们通过在正、负采样中融入由生成模型（视为先验表征）或弱属性给出的先验知识，为 CL 开启新视角。为此，我们利用核理论提出一种称为解耦一致性的新损失，其 i) 允许融入先验知识，ii) 去除原始 InfoNCE 损失中的负-正耦合。我们建立对比学习与条件均值嵌入理论间的联系，以推导下游分类损失的紧界。在无监督设定下，我们通过实验证明 CL 受益于生成模型，在自然图像与医学图像上均改善其表征。在弱监督场景中，我们的框架优于其他无条件与有条件 CL 方法。
引用
@article{arxiv.2206.01646,
title = {Integrating Prior Knowledge in Contrastive Learning with Kernel},
author = {Benoit Dufumier and Carlo Alberto Barbano and Robin Louiset and Edouard Duchesnay and Pietro Gori},
journal= {arXiv preprint arXiv:2206.01646},
year = {2023}
}
备注
ICML 2023