学习谁在分歧：使用DiADEM通过人口统计学重要性加权对标注者分布进行建模
人工智能
2026-04-10 v1 计算与语言
摘要
当人类对主观内容进行标注时，他们会存在分歧，而这种分歧并非噪声。它反映了由标注者的社会身份和生活经历所塑造的视角上的真实差异。然而，标准实践仍然将这些判断扁平化为单一的多数标签，而近期基于大语言模型的方法也未见改善：我们证明，即使采用思维链推理，提示式大语言模型也无法恢复人类分歧的结构。我们引入了DiADEM，一种神经架构，它学习“每个人口统计学轴心的重要性程度”，以预测谁会在什么问题上产生分歧。DiADEM通过由学习到的重要性向量 控制的每个人口统计学投影来编码标注者，通过互补拼接和Hadamard交互融合标注者和项目表示，并使用一种新颖的项目级分歧损失进行训练，该损失直接惩罚预测错误的标注方差。在DICES对话安全性和VOICED政治冒犯性基准测试上，DiADEM在标准和视角主义指标上均大幅优于大语言模型即评判者和神经模型基线，实现了强大的分歧跟踪（在DICES上 ）。学习到的 权重揭示，种族和年龄始终是驱动两个数据集中标注者分歧的最具影响力的人口统计学因素。我们的结果表明，明确建模标注者是谁（而不仅仅是他们标注了什么）对于旨在忠实呈现人类解释多样性的NLP系统至关重要。
引用
@article{arxiv.2604.08425,
title = {Learning Who Disagrees: Demographic Importance Weighting for Modeling Annotator Distributions with DiADEM},
author = {Samay U. Shetty and Tharindu Cyril Weerasooriya and Deepak Pandita and Christopher M. Homan},
journal= {arXiv preprint arXiv:2604.08425},
year = {2026}
}