黑盒异常归因

当黑盒机器学习模型的预测偏离真实观测值时，关于该偏离背后的原因能说些什么？这是商业或工业 AI 应用中的终端用户经常提出的一个基本且普遍存在的问题。该偏离可能是由于次优的黑盒模型，或者仅仅是因为所讨论的样本是离群点。无论哪种情况，人们理想上都希望获得某种形式的归因分数——一个指示输入变量对异常负责程度的值。在本文中，我们解决这一“异常归因”任务，特别是在模型为黑盒且训练数据不可用的设定下。具体而言，我们提出了一种新颖的基于似然的归因框架，称为“似然补偿（LC）”，其中责任分数等同于使可达到的最高可能似然所需的对每个输入变量的修正量。我们首先从形式上说明为何主流的模型无关解释方法，如局部线性代理建模和 Shapley 值，并非为解释异常而设计。特别地，我们表明它们是“偏离无关的”，即它们的解释对感兴趣样本存在模型预测偏离这一事实视而不见。我们通过将现有方法置于我们称为“积分梯度族”的函数族统一框架下做到这一点。我们使用公开可用数据集验证了所提 LC 方法的有效性。我们还通过真实世界的建筑能耗预测任务进行了案例研究，并基于专家反馈确认了其实际有用性。