面向命名实体识别中名称规律性偏置的上下文感知对抗训练
计算与语言
2021-07-27 v1
摘要
本工作中，我们考察了 NER 模型在预测歧义实体类型时利用上下文信息的能力。我们引入 NRB，一个精心设计的用于诊断 NER 模型名称规律性偏置（Name Regularity Bias）的新测试平台。我们的结果表明，所测试的所有 SOTA 模型均表现出此种偏置；在 NRB 上，BERT 微调模型显著优于基于特征的（LSTM-CRF）模型，尽管在标准基准上具有可比（有时更低）的性能。为缓解该偏置，我们提出一种新颖的模型无关训练方法，其向部分实体提及添加可学习的对抗噪声，从而强制模型更强地聚焦于上下文信号，在 NRB 上带来显著提升。将其与另外两种训练策略（数据增强与参数冻结）结合可带来进一步的提升。
引用
@article{arxiv.2107.11610,
title = {Context-aware Adversarial Training for Name Regularity Bias in Named Entity Recognition},
author = {Abbas Ghaddar and Philippe Langlais and Ahmad Rashid and Mehdi Rezagholizadeh},
journal= {arXiv preprint arXiv:2107.11610},
year = {2021}
}
备注
MIT Press\TACL 2021\Presented at ACL 2021 This is the exact same content of the TACL version, except the figures and tables are better aligned