推荐系统人工标注标签的跨文化一致性审计
信息检索
2023-05-11 v1 应用统计
摘要
推荐系统日益依赖大规模人工标注数据集；然而，受雇生成这些标签的人工标注者越来越多地来自同质化背景。当基于这些标签的下游预测模型被全球性地应用于异质用户群体时，这就引发了一个问题。我们针对标签本身研究这一脱节，探问它们在不同人口统计特征的标注者之间是否被“一致地概念化”。在一个电子游戏标签的案例研究中，我们对5174名玩家进行了调查，识别出一组被不一致概念化的游戏标签，进行了因果分析，并给出了跨国标签标注差异的文化与语言学原因。我们进一步证明，相较于同质（单一国家）训练集，基于全球训练集的游戏标注预测模型表现更优。最后，我们为从业者提供了一个可推广的框架，用以审计其自身数据标注流程中的标签概念化一致性，并鼓励从业者在推荐系统中从标注者招募与数据标注的早期阶段起就考虑全球包容性。
引用
@article{arxiv.2305.05917,
title = {Auditing Cross-Cultural Consistency of Human-Annotated Labels for Recommendation Systems},
author = {Rock Yuren Pang and Jack Cenatempo and Franklyn Graham and Bridgette Kuehn and Maddy Whisenant and Portia Botchway and Katie Stone Perez and Allison Koenecke},
journal= {arXiv preprint arXiv:2305.05917},
year = {2023}
}
备注
Accepted at FAccT 2023