解读神经NLP模型对文本扰动的鲁棒性
计算与语言
2022-03-21 v2
摘要
现代自然语言处理（NLP）模型已知对输入扰动敏感，当应用于真实世界含噪数据时其性能可能下降。然而，为何模型对某些扰动的鲁棒性低于其他扰动仍不清楚。本文中，我们检验如下假设：模型受未见文本扰动影响的程度（鲁棒性）可由该扰动的可学习性（定义为模型以少量证据学习识别该扰动的优劣程度）来解释。我们进一步给出可学习性度量的因果依据。我们使用四种主流NLP模型——TextRNN、BERT、RoBERTa与XLNet——在三个数据集上针对八类文本扰动进行了大量实验。结果表明，更善于识别某扰动（更高可学习性）的模型在测试时更不善于忽略该扰动（更低鲁棒性），为我们的假设提供了经验支持。
引用
@article{arxiv.2110.07159,
title = {Interpreting the Robustness of Neural NLP Models to Textual Perturbations},
author = {Yunxiang Zhang and Liangming Pan and Samson Tan and Min-Yen Kan},
journal= {arXiv preprint arXiv:2110.07159},
year = {2022}
}
备注
Accepted to Findings of ACL 2022