缓解投票者属性偏差以实现公平意见聚合
人机交互
2023-07-21 v1 计算机与社会
机器学习
机器学习
摘要
多意见聚合在决策（如招聘与贷款审核）以及监督学习的数据标注中起着关键作用。尽管多数投票与现有意见聚合模型对简单任务有效，但对于无客观真实标签且可能出现分歧的任务并不适用。特别地，当性别或种族等投票者属性将偏差引入意见时，聚合结果可能随投票者属性构成而变。投票者组成均衡的群体有助于获得公平聚合结果，但往往难以组建。本研究探讨基于投票者属性实现公平意见聚合的方法，并评估聚合结果的公平性。为此，我们考虑将多数投票、Dawid 与 Skene 模型（D&S 模型）等意见聚合模型与样本加权等公平选项相结合。为评估意见聚合的公平性，概率软标签优于离散类标签。首先，我们处理不考虑投票者属性的软标签估计问题，并指出 D&S 模型的一些缺陷。为克服这些局限，我们提出一种新的软 D&S 模型，在软标签估计精度上有所提升。此外，我们利用合成与半合成数据，评估了包含软 D&S 在内的意见聚合模型结合不同公平选项时的公平性。实验结果表明，以数据拆分作为公平选项结合软 D&S 对稠密数据有效，而加权多数投票对稀疏数据有效。这些发现对于借助均衡意见聚合支持人类与机器学习模型决策尤具价值。
引用
@article{arxiv.2307.10749,
title = {Mitigating Voter Attribute Bias for Fair Opinion Aggregation},
author = {Ryosuke Ueda and Koh Takeuchi and Hisashi Kashima},
journal= {arXiv preprint arXiv:2307.10749},
year = {2023}
}