反事实-Shapley 值：系统指标变化的归因
机器学习
2022-08-18 v1 信息检索
摘要
给定一个大规模系统输出指标的意外变化，回答变化为何发生至关重要：哪些输入导致了该指标的变化？此类归因问题的一个关键组成部分是估计反事实：由于单一输入的指定变化所引起的系统指标（假设性）变化。然而，由于系统各部分之间固有的随机性与复杂交互，直接对输出指标建模十分困难。我们利用系统的计算结构将建模任务拆解为子部分，使得每个子部分对应于一个更稳定的机制，可随时间被准确建模。利用系统结构还有助于将指标视为结构因果模型（SCM）上的计算，从而提供估计反事实的原则性方法。具体而言，我们提出一种利用时间序列预测模型估计反事实的方法，并构造一个归因分数 CF-Shapley，其与归因观测输出指标变化的可取公理一致。与过去关于因果 Shapley 值的工作不同，我们提出的方法可归因单次观测到的输出变化（而非总体层面效应），从而在模拟数据集上评估时提供更准确的归因分数。作为一个真实世界应用，我们分析了一个查询-广告匹配系统，旨在归因广告匹配密度指标的观测变化。归因分数解释了来自不同查询类别的查询量与广告需求如何影响广告匹配密度，从而得出可操作的见解，并揭示了外部事件（如“猎豹日”）在驱动匹配密度中的作用。
引用
@article{arxiv.2208.08399,
title = {The Counterfactual-Shapley Value: Attributing Change in System Metrics},
author = {Amit Sharma and Hua Li and Jian Jiao},
journal= {arXiv preprint arXiv:2208.08399},
year = {2022}
}