基于核的条件对比学习
机器学习
2022-03-16 v3
摘要
条件对比学习框架考虑条件采样过程，该过程基于特定变量构造正或负数据对。例如，公平对比学习从相同性别（以敏感信息为条件）构造负对，从而减少所学表示中的不良信息；弱监督对比学习以相似标注属性（以辅助信息为条件）构造正对，从而将其纳入表示。尽管条件对比学习支持诸多应用，但若无法为条件变量的某些取值获得充足数据对，条件采样过程可能具有挑战性。本文提出基于核的条件对比学习（CCL-K），将现有条件对比目标转换为可缓解数据不足问题的替代形式。CCL-K 不使用依据条件变量取值采样数据的方式，而是利用核条件嵌入算子从所有可用数据中采样，并依据条件变量取值间核相似性为各采样数据分配权重。我们使用弱监督、公平及困难负样本对比学习进行实验，表明 CCL-K 优于最先进基线。
引用
@article{arxiv.2202.05458,
title = {Conditional Contrastive Learning with Kernel},
author = {Yao-Hung Hubert Tsai and Tianqin Li and Martin Q. Ma and Han Zhao and Kun Zhang and Louis-Philippe Morency and Ruslan Salakhutdinov},
journal= {arXiv preprint arXiv:2202.05458},
year = {2022}
}