无上下文勿解释：解决模型解释的盲点
机器学习
2021-05-31 v1
摘要
预测性机器学习模型（如所谓解释权）的法规与期望日益增多，催生了大量承诺更高可解释性的方法。高需求导致 Shapley 值、偏依赖轮廓或置换变量重要性等 XAI 技术被广泛采用。然而，我们对其性质以及它们在由分析师创建、审计员审查、各利益相关者解读的解释语境中如何表现仍知之甚少。本文强调了一个在监测与审计机器学习模型时关键却常被忽视的盲点：参考数据对解释计算的影响。我们讨论许多模型解释直接或间接依赖于所参考的数据分布的选择。我们展示了分布微小变化导致解释剧烈变化的例子，例如趋势改变或令人警觉的结论改变。因此，我们假定，获得稳健且有用的解释始终需要以更宽泛的上下文予以支撑。
引用
@article{arxiv.2105.13787,
title = {Do not explain without context: addressing the blind spot of model explanations},
author = {Katarzyna Woźnica and Katarzyna Pękala and Hubert Baniecki and Wojciech Kretowicz and Elżbieta Sienkiewicz and Przemysław Biecek},
journal= {arXiv preprint arXiv:2105.13787},
year = {2021}
}