EFSG：演化式愚弄句子生成器

大型预训练语言表示模型（LMs）近期在许多 NLP 任务中取得了大量成功。2018 年 BERT 及其后续模型（如 RoBERTa）在 GLUE benchmark 等经典基准任务上取得了 SOTA 结果。此后，有关对抗攻击的工作被发表以测试它们的泛化特性与鲁棒性。在本工作中，我们设计了演化式愚弄句子生成器（EFSG），一种基于演化方法构建的、模型与任务无关的对抗攻击算法，用于为二分类任务生成假阳性句子。我们成功将 EFSG 应用于 CoLA 与 MRPC 任务，在 BERT 与 RoBERTa 上比较性能。结果证明了 SOTA LMs 中存在弱点。我们最后测试了对抗训练作为一种数据增强防御方法以抵御 EFSG，获得了更强且改进的模型，且在原始数据集上测试时精度无损失。