理解基于能量模型的对抗训练

我们旨在使用基于能量的模型（EBM）框架来更好地理解分类器中的对抗训练（AT），并额外分析鲁棒分类器的内在生成能力。通过能量视角观察标准分类器，我们首先分析了由各种攻击生成的对抗样本的能量与自然样本的能量有何不同。我们工作的核心重点是从能量角度理解 AT 中灾难性过拟合（CO）和鲁棒过拟合（RO）的关键现象。我们分析了现有 AT 方法对训练期间样本能量的影响，并观察到当发生 CO 或 RO 时，“delta 能量”——原始样本与其对抗对应物之间的能量变化——的行为发生显著发散。在对这些能量动力学及其与过拟合的关系进行深入分析后，我们提出了一种新的正则化器，即 Delta 能量正则化器（DER），旨在平滑训练期间的能量景观。我们证明 DER 在多个基准测试中能有效缓解 CO 和 RO。我们进一步表明，鲁棒分类器在用作生成模型时，在处理图像质量与多样性之间的权衡方面存在局限性。我们提出了一种基于局部类内主成分分析（PCA）和基于能量的引导的改进技术，以实现更好的类特定初始化和自适应停止，从而增强样本多样性和生成质量。鉴于我们没有显式训练生成建模，与混合判别-生成模型相比，我们取得了具有竞争力的 Inception Score (IS) 和 Fréchet Inception Distance (FID)。