利用基于模型的树作为可解释代理模型进行模型蒸馏
机器学习
2023-10-06 v1 机器学习
摘要
代理模型通过模型蒸馏在回溯解释复杂且强大的黑盒机器学习模型方面发挥着关键作用。本文关注使用基于模型的树作为代理模型，其通过决策规则将特征空间划分为可解释的区域。在每个区域内，使用基于加性主效应的可解释模型来近似黑盒模型的行为，力求在可解释性与性能之间取得最优平衡。我们比较了四种基于模型的树算法，即 SLIM、GUIDE、MOB 和 CTree，关于它们生成此类代理模型的能力。我们考察了保真度、可解释性、稳定性，以及算法通过恰当分裂捕捉交互效应的能力。基于我们的综合分析，最终给出了针对用户具体建议的概览。
引用
@article{arxiv.2310.03112,
title = {Leveraging Model-based Trees as Interpretable Surrogate Models for Model Distillation},
author = {Julia Herbinger and Susanne Dandl and Fiona K. Ewald and Sofia Loibl and Giuseppe Casalicchio},
journal= {arXiv preprint arXiv:2310.03112},
year = {2023}
}