MockingBERT：一种事后为 NLP 模型添加鲁棒性的方法
计算与语言
2022-08-23 v1
摘要
保护 NLP 模型免受无论是偶然还是对抗性的拼写错误影响，在过去几年中一直是研究关注的课题。现有的补救方法通常要么损害准确率，要么需要对每个新攻击类别进行完整的模型重训练。我们提出一种新颖的方法，用于事后为基于 Transformer 的 NLP 模型添加对拼写错误的鲁棒性。这种鲁棒性无需重新训练原始 NLP 模型即可实现，且在不含拼写错误的输入上仅有极小的语言理解性能损失。此外，我们提出一种高效的对抗性拼写错误生成近似方法，显著降低了评估模型对抗攻击鲁棒性所需的成本。
引用
@article{arxiv.2208.09915,
title = {MockingBERT: A Method for Retroactively Adding Resilience to NLP Models},
author = {Jan Jezabek and Akash Singh},
journal= {arXiv preprint arXiv:2208.09915},
year = {2022}
}
备注
8 pages (excl. bibiography and appendix), 2 figures The code necessary for reproduction is available at https://github.com/akash13singh/resilient_nlp To be published in Proceedings of the 29th International Conference on Computational Linguistics (COLING 2022)