修正决策树：面向可解释性、压缩性与经验稳健性
机器学习
2020-08-25 v2 机器学习
摘要
如何获得兼具良好可解释性与性能的模型一直是重要的研究课题。本文提出修正决策树（ReDT），一种基于知识蒸馏、具有高可解释性、小模型规模与经验稳健性的决策树修正方法。具体而言，我们扩展经典决策树的 impurity 计算与纯终止条件，提出一种决策树扩展，允许在训练与预测过程中使用由训练良好的教师模型生成的软标签。值得注意的是，对于软标签的获取，我们提出一种新的基于多重交叉验证的方法来降低随机性与过拟合的影响。这些方法确保 ReDT 在保持优异可解释性的同时，在压缩方面甚至比决策树拥有更少的节点，且具备相对良好的性能。此外，与传统知识蒸馏不同，ReDT 中不必然需要学生模型的反向传播，这是对新知识蒸馏方法的一种尝试。大量实验表明 ReDT 在可解释性、压缩性与经验稳健性方面的优越性。
引用
@article{arxiv.1903.05965,
title = {Rectified Decision Trees: Towards Interpretability, Compression and Empirical Soundness},
author = {Jiawang Bai and Yiming Li and Jiawei Li and Yong Jiang and Shutao Xia},
journal= {arXiv preprint arXiv:1903.05965},
year = {2020}
}
备注
This is an early draft of our journal submission 'Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning'. Please refer to our new version (arXiv:2008.09413)