通过超球面上的对齐与均匀性理解对比表示学习
机器学习
2022-08-17 v9 计算机视觉与模式识别
机器学习
摘要
对比表示学习在实践中取得了极为出色的成功。在本工作中,我们识别出与对比损失相关的两个关键性质:(1) 正样本对特征的对齐(紧密性),以及 (2) 诱导的(归一化)特征分布在超球面上的均匀性。我们证明,在渐近意义下,对比损失优化这些性质,并分析了它们对下游任务的积极作用。在经验上,我们引入可优化的度量来量化每个性质。在标准视觉与语言数据集上的大量实验证实了这两个度量与下游任务性能之间的强烈一致性。值得注意的是,直接优化这两个度量所得到的表示,在下游任务上取得了与对比学习相当或更好的性能。项目主页:https://tongzhouwang.info/hypersphere 代码:https://github.com/SsnL/align_uniform , https://github.com/SsnL/moco_align_uniform
引用
@article{arxiv.2005.10242,
title = {Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere},
author = {Tongzhou Wang and Phillip Isola},
journal= {arXiv preprint arXiv:2005.10242},
year = {2022}
}
备注
International Conference on Machine Learning (ICML), 2020