标注者人口统计学特征何时重要？利用POPQUORN数据集衡量标注者人口统计学特征的影响
计算与语言
2023-08-30 v2 人工智能
计算机与社会
人机交互
机器学习
摘要
标注者并非可互换的。他们的人口统计学特征、生活经历和背景都会影响他们标注数据的方式。然而，NLP（自然语言处理）直到最近才考虑标注者身份可能如何影响其决策。在此，我们提出POPQUORN（用于带人口统计学细微差别的问答、攻击性、文本重写和礼貌度评分的POtato-Prolific数据集）。POPQUORN包含来自1484名标注者的45000条标注，这些标注者是在性别、年龄和种族上对美国人口具有代表性的抽样。通过一系列分析，我们表明标注者的背景在其判断中起着重要作用。此外，我们的工作表明，先前NLP中未考虑的背景（如教育）是有意义的，应被纳入考量。我们的研究建议，理解标注者背景并从人口统计学均衡的众包工作者池中收集标签，对于减少数据集偏差十分重要。该数据集、标注者背景和标注界面可在 https://github.com/Jiaxin-Pei/potato-prolific-dataset 获取。
引用
@article{arxiv.2306.06826,
title = {When Do Annotator Demographics Matter? Measuring the Influence of Annotator Demographics with the POPQUORN Dataset},
author = {Jiaxin Pei and David Jurgens},
journal= {arXiv preprint arXiv:2306.06826},
year = {2023}
}