DropAttack：一种用于提升神经网络泛化能力的掩码权重对抗训练方法
机器学习
2021-08-31 v1 人工智能
计算与语言
摘要
对抗训练已被证明是一种强大的正则化方法，可提升模型的泛化能力。然而，当前的对抗训练方法仅对原始输入样本或嵌入向量进行攻击，其攻击缺乏覆盖性与多样性。为进一步增强攻击的广度与深度，我们提出一种新颖的掩码权重对抗训练方法 DropAttack，该方法通过在不同维度上对输入层和隐藏层施加刻意构造的最坏情况对抗扰动，并最小化各层产生的对抗风险，从而提升模型泛化能力。DropAttack 是一种通用技术，可应用于具有不同架构的多种神经网络。为验证所提方法的有效性，我们在自然语言处理（NLP）和计算机视觉（CV）领域的五个公开数据集上进行了实验评估。我们将所提方法与其他对抗训练方法及正则化方法进行比较，我们的方法在所有数据集上均达到了最先进水平（SOTA）。此外，与其他标准训练方法相比，DropAttack 仅使用一半训练数据时即可取得相同性能。理论分析表明，DropAttack 可对模型的输入和权重参数中的一部分进行随机梯度正则化。进一步的可视化实验显示，DropAttack 能够将模型的最小风险推至更低且更平坦的损失景观（loss landscape）。我们的源代码已公开于 https://github.com/nishiwen1214/DropAttack。
引用
@article{arxiv.2108.12805,
title = {DropAttack: A Masked Weight Adversarial Training Method to Improve Generalization of Neural Networks},
author = {Shiwen Ni and Jiawen Li and Hung-Yu Kao},
journal= {arXiv preprint arXiv:2108.12805},
year = {2021}
}