基于能量模型视角进一步探究鲁棒分类器

通过将鲁棒判别分类器重新解释为能量模型（EBM），我们对对抗训练（AT）的动力学提供了新的见解。我们对AT过程中的能量景观分析表明，从模型视角来看，无目标攻击生成的对抗图像比原始数据更处于分布内（能量更低）。相反，我们观察到有目标攻击的情况恰好相反。基于我们的深入分析，我们提出了新的理论和实践结果，展示了如何通过解释AT的能量动力学来获得更好的理解：（1）AT动力学由三个阶段主导，鲁棒过拟合发生在第三阶段，伴随自然能量与对抗能量的剧烈分离；（2）通过用能量形式重写基于代理损失最小化的对抗防御权衡（TRADES）的损失函数，我们表明TRADES通过对齐自然能量与对抗能量来隐式地缓解过拟合；（3）我们通过实验表明，所有近期最先进的鲁棒分类器都在平滑能量景观，并且我们在EBM的框架下调和了关于理解AT和加权损失函数的一系列研究。受严格证据的启发，我们提出了加权能量对抗训练（WEAT），这是一种新颖的样本加权方案，在CIFAR-10和SVHN等多个基准测试上取得了匹配最先进水平的鲁棒准确率，并在CIFAR-100和Tiny-ImageNet上超越了现有水平。我们进一步表明，鲁棒分类器在生成能力的强度和质量上存在差异，并提供了一种简单方法来提升这一能力，在不进行生成模型训练的情况下，仅使用鲁棒分类器便达到了显著的Inception Score（IS）和FID。用于复现我们结果的代码可在 http://github.com/OmnAI-Lab/Robust-Classifiers-under-the-lens-of-EBM/ 获取。