从噪声标签中学习用于以实体为中心的信息抽取
计算与语言
2022-01-24 v2
摘要
近期的信息抽取方法依赖于训练深度神经模型。然而，此类模型容易过拟合噪声标签并遭遇性能下降。尽管在大型学习资源中过滤噪声标签代价极高，近期研究表明此类标签需要更多训练步才能被记忆，且比干净标签更易被遗忘，因此在训练中是可识别的。受这些性质启发，我们提出一个用于以实体为中心的信息抽取的简单协同正则化框架，其由若干结构相同但参数初始化不同的神经模型组成。这些模型与任务特定损失联合优化，并通过基于一致性损失的协议被正则化以生成相似预测，从而防止对噪声标签的过拟合。在 TACRED 和 CoNLL03 这两个广泛使用但含噪声的信息抽取基准上的大量实验证明了我们框架的有效性。我们向社区发布代码以供未来研究。
引用
@article{arxiv.2104.08656,
title = {Learning from Noisy Labels for Entity-Centric Information Extraction},
author = {Wenxuan Zhou and Muhao Chen},
journal= {arXiv preprint arXiv:2104.08656},
year = {2022}
}
备注
Accepted at EMNLP 2021. Code available at https://github.com/wzhouad/NLL-IE