RockNER：一种用于生成对抗样本以评估命名实体识别模型鲁棒性的简单方法
计算与语言
2021-09-14 v1
摘要
为审计命名实体识别（NER）模型的鲁棒性，我们提出RockNER，一种简单而有效的生成自然对抗样本的方法。具体而言，在实体层面，我们将目标实体替换为Wikidata中同一语义类的其他实体；在上下文层面，我们使用预训练语言模型（如BERT）生成词语替换。这两层攻击共同产生自然对抗样本，导致分布相对于我们目标模型所训练的训练数据发生偏移。我们将所提方法应用于OntoNotes数据集，并创建了一个名为OntoRock的新基准，通过系统评估协议来评估现有NER模型的鲁棒性。我们的实验与分析揭示，即便最佳模型也有显著的性能下降，且这些模型似乎是在记忆领域内实体模式而非从上下文进行推理。我们的工作还研究了一些简单数据增强方法对提升NER模型鲁棒性的效果。
引用
@article{arxiv.2109.05620,
title = {RockNER: A Simple Method to Create Adversarial Examples for Evaluating the Robustness of Named Entity Recognition Models},
author = {Bill Yuchen Lin and Wenyang Gao and Jun Yan and Ryan Moreno and Xiang Ren},
journal= {arXiv preprint arXiv:2109.05620},
year = {2021}
}
备注
Accepted to EMNLP 2021 as a short paper. Project website: https://inklab.usc.edu/rockner/