具有无限可能性的联合对比学习
计算机视觉与模式识别
2020-10-13 v2 机器学习
摘要
本文通过新颖的概率建模探索对近期对比学习进展的有用改进。我们推导出称为联合对比学习(JCL)的一种特定形式的对比损失。JCL 隐式地涉及同时学习无限数量的查询-键对，这在寻找不变特征时施加了更紧的约束。我们推导出该表述的一个上界，允许以端到端训练方式得到解析解。尽管 JCL 在众多计算机视觉应用中实际有效，我们也从理论上揭示了支配 JCL 行为的某些机制。我们证明所提表述具有一种内在的倾向，强烈偏好各实例特定类内的相似性，因而在区分不同实例的判别性特征搜索中保持优势。我们在多个基准上评估这些方案，展示出相较现有算法的显著改进。代码公开于：https://github.com/caiqi/Joint-Contrastive-Learning。
引用
@article{arxiv.2009.14776,
title = {Joint Contrastive Learning with Infinite Possibilities},
author = {Qi Cai and Yu Wang and Yingwei Pan and Ting Yao and Tao Mei},
journal= {arXiv preprint arXiv:2009.14776},
year = {2020}
}
备注
NeurIPS 2020 Spotlight; Code is publicly available at: https://github.com/caiqi/Joint-Contrastive-Learning