众志成城：通过对抗训练集成权衡鲁棒性与计算开销

尽管深度学习在若干挑战性问题上取得了显著成果，研究者发现神经网络在对抗环境下存在脆弱性，即输入上微小但精心设计的扰动可使模型产生极不准确的输出。这使得这些模型特别不适用于鲁棒性极为重要的安全关键应用领域（如自动驾驶）。近期工作表明，用对抗生成数据增强训练可针对测试时攻击提供一定程度的鲁棒性。本文研究当增加防御方可用的计算预算时该方法的扩展情况。我们表明，增加对抗训练模型的参数量可提升其鲁棒性，尤其是将较小模型集成并在对抗训练中把整个集成作为单一模型训练，比单纯使用更大的单一模型更有效地花费该预算。关键在于，我们表明提供鲁棒性的是集成的对抗训练，而非对抗训练模型的集成。