OpenHEXAI：一个用于可解释机器学习以人为本评估的开源框架
人机交互
2024-03-12 v1 人工智能
摘要
最近，由于需要在高风险场景中理解机器学习模型行为，可解释人工智能（XAI）方法激增。然而，正确评估 XAI 方法的有效性不可避免地需要人类受试者的参与，而进行以人为本的基准测试在多方面具有挑战性：设计和实施用户研究很复杂；用户研究设计空间中的众多设计选择导致可重复性问题；运行用户研究对机器学习研究人员来说可能具有挑战性甚至令人生畏。为应对这些挑战，本文提出了 OpenHEXAI，一个用于 XAI 方法以人为本评估的开源框架。OpenHEXAI 具有以下特点：(1) 多样化的基准数据集、预训练模型和后验解释方法集合；(2) 易于使用的用户研究 Web 应用程序；(3) 在人机决策任务背景下评估后验解释方法有效性的综合指标；(4) 实验文档的最佳实践建议；以及 (5) 用于功效分析和成本估算的便捷工具。OpenHEXAI 是首个促进 XAI 方法以人为本基准测试的大规模基础设施工作。它简化了 XAI 方法用户研究的设计和实施，从而使研究人员和从业者能够专注于科学问题。此外，它通过标准化设计增强了可重复性。基于 OpenHEXAI，我们进一步对四种最先进的后验解释方法进行了系统基准测试，并比较了它们在准确性、公平性以及用户对机器学习模型的信任和理解方面对人机决策任务的影响。
引用
@article{arxiv.2403.05565,
title = {OpenHEXAI: An Open-Source Framework for Human-Centered Evaluation of Explainable Machine Learning},
author = {Jiaqi Ma and Vivian Lai and Yiming Zhang and Chacha Chen and Paul Hamilton and Davor Ljubenkov and Himabindu Lakkaraju and Chenhao Tan},
journal= {arXiv preprint arXiv:2403.05565},
year = {2024}
}