通过引发非专家利益相关者的分歧反馈实现包容性公平评估
人机交互
2023-04-11 v1
摘要
传统的算法公平概念依赖于标签反馈，而这只能由专家评审者提供。然而，在大多数实际应用中，若干非专家利益相关者也在系统中扮演重要角色，并可能对决策哲学持有独特看法。例如，在肾脏分配项目中，移植外科医生因基因原因对为黑人患者接受肾脏供体非常谨慎。但肾脏分配项目中的非专家利益相关者（如患者、捐赠者及其家属）可能从社会歧视的角度误解此类决策。本文从非专家利益相关者的视角评估群体公平概念，他们只能就上下文中的决策提供二元的\emph{同意/不同意反馈}。具体而言，我们识别出两类群体公平概念：（i）\emph{确定型概念}（如校准），可利用分歧反馈精确评估；（ii）\emph{不确定型概念}（如机会均等），因缺乏标签反馈而存在不确定性。对于不确定型概念，基于分歧率给出了边界，并根据既有边界构建了估计。我们所有发现的效力在真实人类反馈数据集上得到了实证验证。
引用
@article{arxiv.2304.03801,
title = {Towards Inclusive Fairness Evaluation via Eliciting Disagreement Feedback from Non-Expert Stakeholders},
author = {Mukund Telukunta and Venkata Sriram Siddhardh Nadendla},
journal= {arXiv preprint arXiv:2304.03801},
year = {2023}
}