FairLay-ML：数据驱动社会关键软件公平性的直观调试
软件工程
2024-12-30 v2 计算机与社会
机器学习
摘要
数据驱动的软件解决方案已大量用于具有重大社会经济、法律和伦理影响的关键领域。然而，数据驱动解决方案的快速采纳构成对自动化决策支持软件可信度的主要威胁。开发者对解决方案的理解程度不足以及数据集中的历史/当前偏见是主要挑战。为了帮助数据驱动软件的开发者和最终用户，我们提出FairLay-ML，这是一种用于测试和解释数据驱动解决方案公平性的调试工具。FairLay-ML可视化给定数据点的 dataset、训练模型和决策的逻辑。此外，它会训练各种具有不同公平性-精度权衡的模型。关键的是，FairLay-ML采用反事实公平性测试，发现开发数据集之外的 bug。我们通过FairLay-ML进行了两项研究，使我们能够衡量常见反事实测试中的假阳性/假阴性，并了解人们对反事实测试案例的感知。在https://github.com/Pennswood/FairLay-ML公开了FairLay-ML及其基准；工具的在线版本可在https://fairlayml-v2.streamlit.app/访问；我们提供了该工具的演示视频，链接为https://youtu.be/wNI9UWkywVU?t=133。
引用
@article{arxiv.2407.01423,
title = {FairLay-ML: Intuitive Debugging of Fairness in Data-Driven Social-Critical Software},
author = {Normen Yu and Luciana Carreon and Gang Tan and Saeid Tizpaz-Niari},
journal= {arXiv preprint arXiv:2407.01423},
year = {2024}
}
备注
To Appear in IEEE/ACM 47th International Conference on Software Engineering - Demonstrations Track (ICSE'25-Demo)