无负样本对比学习的解耦性质实证研究
机器学习
2022-10-18 v2 人工智能
计算机视觉与模式识别
摘要
无负样本对比学习方法以其简洁性和在大规预训练中的优异表现吸引了大量关注。然而,其解耦性质尚未被探索。本文对无负样本对比学习方法进行考察,以实证研究其解耦性质。我们发现现有的解耦度量指标无法对高维表示模型做出有意义的测量,因此提出了一种基于隐表示与数据因子之间互信息的新解耦度量指标。利用该提出的指标,我们在流行的合成数据集和真实世界数据集 CelebA 上基准测试了无负样本对比学习的解耦性质。我们的研究表明,所考察的方法能够学习到表示中一个良好解耦的子集。据我们所知,我们是首个将解耦表示学习的研究扩展到高维表示空间,并将无负样本对比学习方法引入该领域的工作。本文源代码可在 \url{https://github.com/noahcao/disentanglement_lib_med} 获取。
引用
@article{arxiv.2206.04756,
title = {An Empirical Study on Disentanglement of Negative-free Contrastive Learning},
author = {Jinkun Cao and Ruiqian Nai and Qing Yang and Jialei Huang and Yang Gao},
journal= {arXiv preprint arXiv:2206.04756},
year = {2022}
}
备注
Accepted to NeurIPS 2022; 10 pages main text + 15 pages appendix