你的分类器秘密地是一个基于能量的模型，你应如此对待它
机器学习
2020-09-16 v3 计算机视觉与模式识别
机器学习
摘要
我们提议将标准判别分类器p(y|x)重新解释为联合分布p(x,y)的基于能量的模型（energy based model）。在此设定下，标准类概率可轻易计算，同时也可得p(x)与p(x|y)的非归一化值。在该框架内，可使用标准判别架构，且模型亦可在无标签数据上训练。我们证明，对联合分布进行基于能量的训练可改善校准、鲁棒性和分布外检测，同时使我们的模型生成可与近期GAN方法媲美质量的样本。我们改进了近期提出的用于扩展基于能量模型训练的技术，并提出了一种相较于标准分类训练仅增加极少开销的方法。我们的方法是首个在单一混合模型中实现生成式与判别式学习均媲美最先进性能的方法。
引用
@article{arxiv.1912.03263,
title = {Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One},
author = {Will Grathwohl and Kuan-Chieh Wang and Jörn-Henrik Jacobsen and David Duvenaud and Mohammad Norouzi and Kevin Swersky},
journal= {arXiv preprint arXiv:1912.03263},
year = {2020}
}