走进外星动物园：一个研究机器学习反事实解释可用性的实验框架
人机交互
2023-03-24 v1 机器学习
摘要
为促进机器学习（ML）的实用性与可问责性，除评估模型性能外，解释模型的决策至关重要。相应地，可解释人工智能（XAI）领域重新成为活跃的研究课题，提供了解决自动化决策“如何”与“为何”的方法。在该领域中，反事实解释（CFE）作为一种基于心理学基础的后验解释生成方法已获得相当关注。为此，CFE 突出说明对模型输入做哪些改动会以特定方式改变其预测。然而，尽管已提出众多 CFE 方法，其在人类层面的可用性仍有待充分验证。因此，为推动 XAI 领域发展，我们引入外星动物园（Alien Zoo），一个引人入胜、基于网页且受游戏启发的实验框架。外星动物园提供了在通用领域情境下针对新手用户评估 CFE 从自动化系统获取新知识的可用性的手段。作为概念验证，我们在用户研究中展示了该方法的实际效能与可行性。结果表明，相较于无解释，用户在所提出的迭代学习任务中的客观表现与主观可用性方面均受益于接收 CFE。通过本工作，我们旨在为研究团体与从业者提供便捷开展受控且统计效力充分的用户研究的手段，以补充其通常更偏技术导向的工作。为此，出于可重复研究之考量，我们提供了完整代码及底层模型与用户数据。
引用
@article{arxiv.2205.03398,
title = {Let's Go to the Alien Zoo: Introducing an Experimental Framework to Study Usability of Counterfactual Explanations for Machine Learning},
author = {Ulrike Kuhl and André Artelt and Barbara Hammer},
journal= {arXiv preprint arXiv:2205.03398},
year = {2023}
}
备注
We provide the entire code, together with the underlying models and user data: https://github.com/ukuhl/IntroAlienZoo