NUTMEG：从标注者分歧中分离信号与噪声
计算与语言
2025-07-28 v1
摘要
NLP模型通常依赖人工标注数据进行训练和评估。许多方法从大量技能、背景和动机各异的标注者那里众包这些数据，导致标注冲突。传统上，这些冲突通过假设分歧是误差的聚合方法来解决。最近的研究认为，对于许多任务，标注者可能存在真正的分歧，并且这种变异应被视为信号而非噪声。然而，很少有模型能够分离标注者分歧中的信号和噪声。在这项工作中，我们引入了NUTMEG，一种新的贝叶斯模型，它整合了关于标注者背景的信息，以从人工标注的训练数据中去除噪声标注，同时保留系统性分歧。使用合成数据，我们表明NUTMEG在从具有系统性分歧的标注中恢复真实标签方面比传统聚合方法更有效。我们提供了进一步的分析，描述了子群体规模差异、分歧率和垃圾信息率如何影响我们模型的性能。最后，我们证明了在NUTMEG聚合数据上训练的下游模型显著优于在传统聚合方法数据上训练的模型。我们的结果强调了在训练人工标注数据时考虑标注者能力和系统性分歧的重要性。
引用
@article{arxiv.2507.18890,
title = {NUTMEG: Separating Signal From Noise in Annotator Disagreement},
author = {Jonathan Ivey and Susan Gauch and David Jurgens},
journal= {arXiv preprint arXiv:2507.18890},
year = {2025}
}