面向复杂公平性目标景观的人类在环公平性感知模型选择框架
机器学习
2024-10-22 v2
摘要
公平性感知机器学习 (FairML) 应用通常以复杂的社会目标和法律要求为特征，频繁涉及多个可能相互冲突的公平性概念。尽管公平性理论的不可行性定理已为人所知，并且关于公平性指标之间统计与社会技术权衡的大量理论研究已取得进展，但许多 FairML 工具仍仅针对单一公平性目标进行优化或施加约束。然而，这种单一优化可能无意中导致其他相关公平性概念的违反。在本社会技术和实证研究中，我们将公平性视为一个多目标 (MaO) 问题，通过将公平性指标视为相互冲突的目标来实现。我们引入了 ManyFairHPO，一个人类在环的、公平性感知的模型选择框架，使实践者能够有效地导航复杂且细致的公平性目标景观。ManyFairHPO 有助于识别、评估和平衡公平性指标冲突及其相关社会后果，从而做出更加明智和社会负责的模型选择决策。通过对 Law School Admissions 问题的全面实证评估和案例研究，我们展示了 ManyFairHPO 在平衡多个公平性目标、缓解自我实现预言等风险方面的有效性，并为利益相关者提供可解释的见解以指导公平性感知建模决策。
引用
@article{arxiv.2410.13286,
title = {A Human-in-the-Loop Fairness-Aware Model Selection Framework for Complex Fairness Objective Landscapes},
author = {Jake Robertson and Thorsten Schmidt and Frank Hutter and Noor Awad},
journal= {arXiv preprint arXiv:2410.13286},
year = {2024}
}