近似树：模型蒸馏中的统计稳定性
机器学习
2018-08-24 v1 机器学习
摘要
本文考察通过决策树模型蒸馏为黑盒预测提供可学习解释的稳定性。机器学习中一种可理解性方法是使用可理解的“学生”模型来模仿准确的“教师”模型的输出。此处，我们考虑将回归树作为学生模型，其中树的节点可用作特定预测的“解释”，而树的整体结构可用作所得函数的全局表示。然而，单棵决策树对用于训练它们的特定数据集十分敏感，若训练数据的微小变动对其产生很大影响，则对学生模型的解释可能存疑。在此背景下，获取教师模型的输出有助于通过生成比原始可用数据量大得多的训练样本语料来稳定贪心分裂策略。我们开发了检验方法，以确保每次分裂生成足够多的样本，从而使得若树被重新训练，将以高概率选择相同的分裂规则。此外，我们基于近期关于随机森林用作教师时变异性的结果，开发了一种停止规则以指示树应构建的深度。我们在 CAD-MDD 和 COMPAS 数据集上给出了这些过程的具体示例。
引用
@article{arxiv.1808.07573,
title = {Approximation Trees: Statistical Stability in Model Distillation},
author = {Yichen Zhou and Zhengze Zhou and Giles Hooker},
journal= {arXiv preprint arXiv:1808.07573},
year = {2018}
}
备注
This paper supercedes arXiv:1610.09036