NER 对对抗输入鲁棒性的多语言评测
计算与语言
2023-05-31 v1
摘要
语言模型的对抗评测通常仅聚焦于英语。本文中，我们对命名实体识别（NER）在输入微小扰动下的鲁棒性进行了多语言评测。我们的结果表明，所考察的跨三种语言（英语、德语和印地语）的 NER 模型对此类变化并不十分鲁棒，这由整体 F1 分数以及更细粒度评测中的波动所表明。基于该认识，我们进一步探索了是否可利用所生成对抗数据集的一部分作为增广训练数据来训练新 NER 模型，或作为微调数据来适配已有 NER 模型，从而改进现有 NER 模型。我们的结果表明，这两种方法均提升了在原始及对抗测试集上的性能。虽然对英语而言两种方法无显著差异，但对德语和印地语，重新训练显著优于微调。
引用
@article{arxiv.2305.18933,
title = {A Multilingual Evaluation of NER Robustness to Adversarial Inputs},
author = {Akshay Srinivasan and Sowmya Vajjala},
journal= {arXiv preprint arXiv:2305.18933},
year = {2023}
}
备注
Paper accepted at Repl4NLP workshop, ACL 2023