学习黑盒模型加性解释时的若干考量
机器学习
2023-08-02 v4 机器学习
摘要
许多解释黑盒模型的方法，无论是局部的还是全局的，都是加性的。本文中，我们研究非加性模型的全局加性解释，聚焦于四种解释方法：偏依赖、适配全局环境的 Shapley 解释、蒸馏加性解释以及基于梯度的解释。我们展示不同的解释方法以不同方式刻画黑盒模型预测函数中的非加性成分。我们利用主效应与总效应的概念来锚定加性解释，并定量评估加性解释与非加性解释。尽管蒸馏解释通常是最准确的加性解释，但显式建模非加性成分的非加性解释（如树解释）往往更准确。尽管如此，我们的用户研究表明，机器学习从业者能更好地利用加性解释来完成各类任务。在考虑信任何种解释并用以解释黑盒模型时，应将这些考量纳入考虑。
引用
@article{arxiv.1801.08640,
title = {Considerations When Learning Additive Explanations for Black-Box Models},
author = {Sarah Tan and Giles Hooker and Paul Koch and Albert Gordo and Rich Caruana},
journal= {arXiv preprint arXiv:1801.08640},
year = {2023}
}
备注
Published at Machine Learning (2023). Previously titled "Learning Global Additive Explanations for Neural Nets Using Model Distillation". A short version was presented at NeurIPS 2018 Machine Learning for Health Workshop