通过增长界限矩阵方法在 NLP 中桥接鲁棒性与对抗性对抗攻击中的鲁棒性与泛化
计算与语言
2025-08-07 v1 人工智能
机器学习
摘要
尽管自然语言处理（NLP）领域取得了进展，但模型仍然容易受到对抗性攻击，如同义词替换。虽然先前工作集中于提高前馈和卷积架构的鲁棒性，但递归网络和现代状态空间模型（SSMs，如 S4）的鲁棒性研究仍不充分。这些架构由于其顺序处理和复杂的参数动态，面临独特挑战。本文引入一种基于增长界限矩阵（GBM）的新型正则化技术，以减少输入扰动对模型输出的影响，从而提高 NLP 模型的鲁棒性。我们专注于计算三种架构的 GBM：长短期记忆网络（LSTM）、状态空间模型（S4）和卷积神经网络（CNN）。我们的方法旨在（1）增强对单词替换攻击的抵抗力，（2）提高在干净文本上的泛化能力，（3）为 SSM（S4）鲁棒性提供首次系统性分析。广泛的实验在多个架构和基准数据集上表明，我们的方法在对抗鲁棒性方面优于现有基线最高可提升 8.8%。这些结果凸显了我们方法的有效性，在对抗防御方面超越了多个最先进的方法。代码可在 https://github.com/BouriMohammed/GBM 获取。
引用
@article{arxiv.2507.10330,
title = {Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach},
author = {Mohammed Bouri and Adnane Saoud},
journal= {arXiv preprint arXiv:2507.10330},
year = {2025}
}
备注
Accepted to ACL Findings 2025