基于能量的视觉表征对比学习
机器学习
2022-10-26 v2
摘要
对比学习是一种通过训练深度神经网络 (DNNs) 来学习视觉表征的方法，旨在增加正样本对（同一图像的不同变换）表征之间的相似度，并降低负样本对（不同图像的变换）表征之间的相似度。本文探索了基于能量的对比学习 (EBCLR)，该方法通过将对比学习与基于能量的模型 (EBMs) 相结合，利用了生成学习的优势。EBCLR 在理论上可被解释为学习正样本对的联合分布，并在 MNIST、Fashion-MNIST、CIFAR-10 和 CIFAR-100 等中小规模数据集上展现出有前景的结果。具体而言，我们发现 EBCLR 在训练轮次上相比 SimCLR 和 MoCo v2 实现了 4 倍到 20 倍的加速。此外，与 SimCLR 相比，我们观察到 EBCLR 在每个正样本对对应 254 个负样本对（批量大小 128）和 30 个负样本对（批量大小 16）时，性能几乎相同，这证明了 EBCLR 对少量负样本对的鲁棒性。因此，EBCLR 为改进对比学习方法提供了一条新途径，这类方法通常需要大型数据集且每次迭代需要大量负样本对才能在下游任务上取得合理性能。代码：https://github.com/1202kbs/EBCLR
引用
@article{arxiv.2202.04933,
title = {Energy-Based Contrastive Learning of Visual Representations},
author = {Beomsu Kim and Jong Chul Ye},
journal= {arXiv preprint arXiv:2202.04933},
year = {2022}
}
备注
NeurIPS 2022 Oral Paper