你的分类器能做到更多：迈向分类、鲁棒性与生成的平衡
机器学习
2026-03-13 v3 人工智能
摘要
联合能量模型（JEMs）以在单一框架内统一分类和生成而闻名。尽管其生成和判别性能颇具前景，但其鲁棒性仍远逊于对抗训练（AT），而 AT 虽实现了强鲁棒性，却牺牲了干净准确率且缺乏生成能力。这种固有的三难困境——平衡分类准确率、鲁棒性和生成能力——提出了一个根本问题：单一模型能否同时实现这三者？为回答此问题，我们对各种 JEM 和 AT 变体中干净样本、对抗样本和生成样本的能量景观进行了系统分析。我们观察到，AT 缩小了干净样本和对抗样本之间的能量差距，而 JEMs 缩小了干净样本和合成样本之间的差距。这一观察提供了一个关键见解：如果这三种数据类型的能量分布能够对齐，我们或许能弥合它们之间的性能差异。基于此想法，我们提出了基于能量的联合分布对抗训练（EB-JDAT），这是一个统一的生成-判别-鲁棒框架，旨在最大化干净分布和对抗分布的联合概率。EB-JDAT 引入了一种新颖的极小极大能量优化，以显式对齐干净样本、对抗样本和生成样本的能量。在 CIFAR-10、CIFAR-100 和 ImageNet 子集上的大量实验表明，EB-JDAT 实现了 SOTA 鲁棒性，同时保持了近乎原始的准确率和具有竞争力的 JEMs 生成质量，有效实现了准确率、鲁棒性和生成之间新的权衡前沿。代码发布于 https://github.com/yujkc/EB-JDAT。
引用
@article{arxiv.2505.19459,
title = {Your Classifier Can Do More: Towards Balancing the Gaps in Classification, Robustness, and Generation},
author = {Kaichao Jiang and He Wang and Xiaoshuai Hao and Xiulong Yang and Ajian Liu and Qi Chu and Yunfeng Diao and Richang Hong},
journal= {arXiv preprint arXiv:2505.19459},
year = {2026}
}
备注
accepted by CVPR2026