交互式解释性模型分析的语法

对预测模型深入分析的日益增长的需求催生了一系列用于解释其局部与全局性质的新方法。其中哪种方法最好？结果证明这是一个不适定问题。人们无法使用仅提供单一视角的一种方法来充分解释黑盒机器学习模型。孤立的解释易于引发误解，导致错误或过简的推理。此问题被称为 Rashomon 效应，指的是对同一现象的多样甚至矛盾的解释。令人惊讶的是，大多数为可解释且负责任的机器学习开发的方法聚焦于模型行为的单一面向。相反，我们将可解释性问题展示为对模型的交互式与序列式分析。本文提出不同的解释性模型分析（EMA）方法如何相互补充，并讨论为何将它们并置至关重要。所引入的交互式 EMA（IEMA）过程源于可解释机器学习的算法一侧，并旨在吸纳认知科学中发展的理念。我们形式化了 IEMA 的语法以描述潜在的人-模型对话。其实现于一个广泛使用、以人为中心的开源软件框架中，该框架将交互性、可定制性与自动化作为其主要特质。我们开展了一项用户研究以评估 IEMA 的效用，其表明对模型的交互式序列分析提升了人类决策的绩效与信心。