基于对比学习的判别-生成混合训练
机器学习
2020-08-11 v2 计算机视觉与模式识别
机器学习
摘要
对比学习和监督学习都取得了显著进展与成功。然而，迄今为止它们很大程度上被视为两个独立的目标，仅通过共享神经网络而结合在一起。在本文中，我们表明通过基于能量模型的判别-生成混合训练的视角，可以在对比学习和监督学习之间建立直接联系。除了提出这一统一视角外，我们表明对基于能量的损失所采用的特定近似选择在WideResNet于CIFAR-10和CIFAR-100上的分类准确率方面优于现有做法。它还带来了鲁棒性、分布外检测和校准方面性能的提升。
引用
@article{arxiv.2007.09070,
title = {Hybrid Discriminative-Generative Training via Contrastive Learning},
author = {Hao Liu and Pieter Abbeel},
journal= {arXiv preprint arXiv:2007.09070},
year = {2020}
}
备注
Code: https://github.com/lhao499/HDGE