分析机器学习系统中效用与公平性权衡的多目标评估框架

在机器学习中评估公平性模型涉及复杂的挑战，例如定义适当的指标、平衡效用与公平性之间的权衡，且该阶段仍存在空白。本研究提出了一种新颖的多目标评估框架，能够分析机器学习系统中的效用与公平性权衡。该框架使用多目标优化的标准开发，收集了关于这一复杂评估任务的综合信息。通过雷达图和包含收敛性、系统容量和多样性等各个方面的测量表，以直观的方式定量和定性地总结了多个机器学习系统的评估结果。该框架对性能的紧凑表示促进了决策者在现实应用中对不同机器学习策略的比较分析，适用于单一或多种公平性要求。特别是，本研究聚焦于医学成像领域，由于有偏诊断系统对患者结果的潜在影响，公平性考虑至关重要。所提框架能够对多种公平性约束进行系统评估，有助于识别和缓解人口群体之间的差异，同时保持诊断性能。该框架与模型无关，可灵活适应任何类型的机器学习系统，即黑盒或白盒，以及任何类型和数量的评估指标，包括多维公平性标准。通过不同的仿真以及在使用各种机器学习系统的三个真实医学成像数据集上进行的实证研究，展示了所提框架的功能和有效性。我们的评估框架已在 https://pypi.org/project/fairical 公开。