缩小联合能量模型性能差距的研究
计算机视觉与模式识别
2023-03-15 v2
摘要
我们能否在单一网络内训练一个混合判别-生成模型？该问题近来已得到肯定回答，由此引入了联合能量模型（JEM）领域，其同时实现高分类准确率与图像生成质量。尽管近期取得进展，仍存在两个性能差距：相对于标准 softmax 分类器的准确率差距，以及相对于最先进生成模型的生成质量差距。本文中，我们引入多种训练技术以缩小 JEM 的准确率差距与生成质量差距。1）我们采用近期提出的锐度感知最小化（SAM）框架训练 JEM，其促进能量景观平滑性与 JEM 的泛化能力。2）我们从 JEM 的最大似然估计流程中排除数据增强，并缓解数据增强对图像生成质量的负面影响。在多个数据集上的大量实验表明，我们的 SADA-JEM 取得了最先进性能，并在图像分类、图像生成、校准、分布外检测与对抗鲁棒性上以显著优势超越 JEM。我们的代码见 https://github.com/sndnyang/SADAJEM。
引用
@article{arxiv.2209.07959,
title = {Towards Bridging the Performance Gaps of Joint Energy-based Models},
author = {Xiulong Yang and Qing Su and Shihao Ji},
journal= {arXiv preprint arXiv:2209.07959},
year = {2023}
}
备注
Accepted to CVPR 2023