探究标签聚合对少数群体声音的影响：对数据集偏差与模型训练的意义
计算与语言
2024-12-06 v1
摘要
解决人工标注中的分歧通常包括移除不可靠的标注者，并使用诸如多数投票或专家意见之类的标签聚合策略来解决分歧。这些做法可能会产生压制或低估少数但同样有效的意见的副作用。在本文中，我们研究了标准标签聚合策略对性别歧视检测中少数意见代表性的影响。我们调查了少数标注的质量和价值，然后检验了它们对金标准标签中类别分布的影响，以及这如何影响在由此产生的数据集上训练的模型的行为。最后，我们讨论了每种方法可能引入的偏差，以及这些偏差如何被模型放大。
引用
@article{arxiv.2412.04025,
title = {Exploring the Influence of Label Aggregation on Minority Voices: Implications for Dataset Bias and Model Training},
author = {Mugdha Pandya and Nafise Sadat Moosavi and Diana Maynard},
journal= {arXiv preprint arXiv:2412.04025},
year = {2024}
}