用于解析黑盒机器学习模型的知识蒸馏决策树
统计方法学
2025-09-17 v4 机器学习
摘要
机器学习模型，尤其是黑盒模型，因其卓越的预测能力而广受青睐。然而，由于缺乏可解释性，它们常面临审视与批评。矛盾的是，其强大的预测能力可能表明对底层数据的深刻理解，意味着巨大的解释潜力。利用新兴的知识蒸馏概念，我们引入知识蒸馏决策树（KDDT）方法。该方法能将黑盒模型关于数据的知识蒸馏进决策树，从而 facilitat 黑盒模型的解释。良好可解释模型的基本属性包括简洁性、稳定性与预测性。构建可解释树的主要挑战在于确保结构在训练数据随机性下的稳定性。KDDT 在温和假设下可达成结构稳定性，我们给出了相应理论基础。此外，我们提出混合 KDDT 以同时实现简洁性与预测性，并提供了构建混合 KDDT 的高效算法。模拟研究与真实数据分析验证了混合 KDDT 提供准确可靠解释的能力。KDDT 是一种具有良好实用潜力的优秀可解释模型。
引用
@article{arxiv.2206.04661,
title = {Knowledge Distillation Decision Tree for Unravelling Black-box Machine Learning Models},
author = {Xuetao Lu and J. Jack Lee},
journal= {arXiv preprint arXiv:2206.04661},
year = {2025}
}