更简单、更快速、更强大:用FlatNCE打破对比学习器的log-K诅咒
机器学习
2021-07-05 v1 人工智能
计算机视觉与模式识别
信息论
机器学习
math.IT
摘要
近年来,基于InfoNCE的对比表征学习器(如SimCLR)取得了巨大成功。然而,这些对比方案以耗费资源著称,其效果在小批量训练时会崩溃(即log-K诅咒,其中K为批量大小)。本工作中,我们从数学上揭示了对比学习器在小批量规模下失效的原因,并提出了一种新颖、简单且非平凡的对比目标FlatNCE,它修复了该问题。与InfoNCE不同,我们的FlatNCE不再显式诉诸于对比学习的判别分类目标。理论上,我们证明FlatNCE是InfoNCE的数学对偶形式,从而桥接了能量建模的经典文献;经验上,我们证明只需极小修改代码,FlatNCE即可带来独立于具体工程努力的性能提升。本工作的意义还在于对比学习技术的强大泛化能力,以及引入监测与诊断对比训练的新工具。我们在CIFAR10、ImageNet等数据集上以经验证据支撑了我们的主张,FlatNCE始终优于InfoNCE。
引用
@article{arxiv.2107.01152,
title = {Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive Learners With FlatNCE},
author = {Junya Chen and Zhe Gan and Xuan Li and Qing Guo and Liqun Chen and Shuyang Gao and Tagyoung Chung and Yi Xu and Belinda Zeng and Wenlian Lu and Fan Li and Lawrence Carin and Chenyang Tao},
journal= {arXiv preprint arXiv:2107.01152},
year = {2021}
}