高效局部线性正则化以克服灾难性过拟合

单步对抗训练中的灾难性过拟合会导致对抗测试准确率急剧下降（甚至降至0%）。对于多步对抗训练的模型，已观察到损失函数相对于输入具有局部线性行为，但在单步对抗训练中这一特性丧失。为解决单步对抗训练中的灾难性过拟合，已有多种方法通过正则化强制损失函数的局部线性性。然而，这些正则化项由于双重反向传播而显著拖慢训练速度。相反，在本工作中，我们引入了一种名为ELLE的正则化项，以在经典对抗训练评估以及更困难的场景（例如大对抗扰动和长训练计划）中有效且高效地缓解灾难性过拟合。我们的正则化项在理论上可与损失函数的曲率相关联，并且通过避免双重反向传播，计算成本低于先前方法。我们全面的实验验证表明，我们的工作即使在先前工作遭受灾难性过拟合的挑战性设置中也不会出现灾难性过拟合。我们还注意到，在训练过程中调整正则化参数（ELLE-A）能显著提升性能，尤其是在大$\epsilon$设置下。我们的实现可在https://github.com/LIONS-EPFL/ELLE获取。