谨慎民主化：基于用户界面的开源 AutoML 工具中需要公平性特定特征
人机交互
2023-12-21 v1 计算机与社会
机器学习
摘要
AI 在企业和组织中正日益发挥关键作用，影响着人类用户的结果与利益。自动机器学习（AutoML）通过自动化重复性任务和做出数据驱动的决策，简化了机器学习模型开发过程，使非专家也能高效构建高质量模型。这种民主化使更多用户（包括非专家）能够访问和利用最先进的机器学习专业知识。然而，AutoML 工具在处理数据、模型选择和所采用的优化方法时，也可能传播偏见。我们对基于用户界面的开源 AutoML 工具（DataRobot、H2O Studio、Dataiku 和 Rapidminer Studio）进行了实验研究，以检验它们是否具备辅助用户开发公平性感知的机器学习模型的特征。实验涵盖了以下特征评估考量：理解用例上下文、数据表示、特征相关性与敏感性、数据偏见与预处理技术、数据处理能力、训练-测试集划分、超参数处理与约束、面向公平性的模型开发、可解释性以及用户下载和编辑模型的能力。结果揭示了在支持公平性感知模型开发的特征方面存在不足。此外，结果还强调了在 AutoML 工具中建立某些必要特征以促进公平性的需求。
引用
@article{arxiv.2312.12460,
title = {Democratize with Care: The need for fairness specific features in user-interface based open source AutoML tools},
author = {Sundaraparipurnan Narayanan},
journal= {arXiv preprint arXiv:2312.12460},
year = {2023}
}