每个人的声音都重要：利用人口统计信息量化标注分歧
计算与语言
2023-01-13 v1 人工智能
计算机与社会
摘要
在自然语言处理（NLP）标注中，通常由多个标注者对文本进行标记，然后根据多数标注者的一致性获得真实标签。然而，标注者是具有不同背景的个体，少数人的意见不应被简单忽略。随着现代 NLP 任务中标注任务变得主观且话题具有争议性，我们需要能够代表人们在主观问题上多样化声音并预测多样性水平的 NLP 系统。本文研究了是否可以利用任务文本和标注者的人口统计背景信息来估计标注者之间的分歧程度。具体来说，我们从五个主观数据集的标注者投票历史中提取分歧标签，然后微调语言模型来预测标注者的分歧。我们的结果表明，了解标注者的人口统计信息，如性别、种族和教育水平，有助于预测分歧。为了区分文本内容固有的争议性导致的分歧与标注者不同视角导致的分歧，我们通过不同的人工标注者人口统计信息组合来模拟每个人的声音，并检验了微调后的分歧预测器的方差。我们的论文旨在通过一种新颖的分歧预测机制来改进标注过程，以实现更高效、更具包容性的 NLP 系统。我们的代码和数据集已公开。
引用
@article{arxiv.2301.05036,
title = {Everyone's Voice Matters: Quantifying Annotation Disagreement Using Demographic Information},
author = {Ruyuan Wan and Jaehyung Kim and Dongyeop Kang},
journal= {arXiv preprint arXiv:2301.05036},
year = {2023}
}