将可解释模型蒸馏为可读代码
机器学习
2021-02-10 v2
摘要
模型蒸馏的目标是将教师模型的知识忠实迁移至更快、泛化性更强、可解释性或具备其他期望特性的模型。人类可读性是可机器学习模型可解释性的一个重要且期望的标准。可读模型是透明的，可像传统源代码一样被审查、操作和部署。因此，此类模型可在机器学习语境之外被改进，并可根据需要手动编辑。鉴于直接训练此类模型较为困难，我们提出先以常规方法训练可解释模型，再将其蒸馏为简洁、人类可读的代码。所提出的蒸馏方法以局部方式用分段线性曲线逼近模型的一元数值函数。所得的曲线模型表示准确、简洁、人类可读，且由构造良好正则化。我们描述了一种分段线性曲线拟合算法，可在广泛用例中高效可靠地产生高质量结果。我们利用分类、回归和排序任务上的四个数据集证明了整体蒸馏技术与曲线拟合算法的有效性。
引用
@article{arxiv.2101.08393,
title = {Distilling Interpretable Models into Human-Readable Code},
author = {Walker Ravina and Ethan Sterling and Olexiy Oryeshko and Nathan Bell and Honglei Zhuang and Xuanhui Wang and Yonghui Wu and Alexander Grushetsky},
journal= {arXiv preprint arXiv:2101.08393},
year = {2021}
}
备注
13 pages, Latex; Updated the introduction and preliminaries sections; Updated some figures for greater clarity and brevity; Added a new dataset to the experiments; Added a more detailed table of experiment results; Added a discussion of distillation failures to the experiments relating to the new dataset