NoiseBench：命名实体识别中真实标签噪声影响基准
计算与语言
2024-10-15 v2 人工智能
机器学习
摘要
命名实体识别（NER）的可用训练数据常包含显著比例的错误标签，包括实体类型和实体边界。此类标签噪声对监督学习构成挑战，可能显著恶化模型性能。为此，先前工作提出了各种能够从部分错误标签数据中学习的噪声鲁棒学习方法。这些方法通常使用模拟噪声进行评估，即对干净数据集上的标签自动生成噪声。然而，正如本文所示，这导致不真实的噪声，其处理难度远低于由人为错误或半自动标注引起的真实噪声。为支持研究各种类型真实噪声的影响，本文引入 NoiseBench，一个由干净训练数据经 6 种类型真实噪声破坏而成的 NER 基准，包括专家错误、众包错误、自动标注错误和大语言模型（LLM）错误。我们展示了真实噪声显著比模拟噪声更具挑战性，并表明当前针对噪声鲁棒学习的 SOTA 模型远远未达其理论可实现的上限。我们将 NoiseBench 公开给研究社区。
引用
@article{arxiv.2405.07609,
title = {NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition},
author = {Elena Merdjanovska and Ansar Aynetdinov and Alan Akbik},
journal= {arXiv preprint arXiv:2405.07609},
year = {2024}
}
备注
data available at https://github.com/elenamer/NoiseBench; to appear at EMNLP2024 main conference