NAT：用于鲁棒神经序列标注的噪声感知训练
计算与语言
2020-05-15 v1
摘要
序列标注系统不仅应在理想条件下可靠运行，也应在输入受损时可靠运行——因为这些系统常处理用户生成文本或跟随易出错的下游组件。为此，我们形式化了噪声序列标注问题，其中输入可能经历未知的加噪过程，并提出了两个噪声感知训练（NAT）目标，以改进在扰动输入上执行的序列标注的鲁棒性：我们的数据增强方法使用干净与噪声样本的混合训练神经模型，而我们的稳定性训练算法鼓励模型创建噪声不变的潜在表示。我们在训练时使用一个朴素噪声模型。为评估，我们使用原始数据及其受真实 OCR 错误和拼写错误扰动的变体。在英语和德语命名实体识别基准上的大量实验证实，NAT 一致地改进了流行序列标注模型的鲁棒性，同时保持了在原始输入上的准确性。我们向研究社区公开了代码和数据。
引用
@article{arxiv.2005.07162,
title = {NAT: Noise-Aware Training for Robust Neural Sequence Labeling},
author = {Marcin Namysl and Sven Behnke and Joachim Köhler},
journal= {arXiv preprint arXiv:2005.07162},
year = {2020}
}
备注
Accepted to appear at ACL 2020