面向可解释人工神经网络:到多类多元决策树的精确变换
机器学习
2021-11-19 v4 机器学习
摘要
一方面,人工神经网络(ANN)通常被称为黑盒,缺乏可解释性;这一问题阻碍了人类对于ANN行为的理解。需要为解释特定输出的产生过程生成有意义的顺序逻辑。另一方面,决策树因其表示语言以及存在将树转换为规则的高效算法而展现出更好的可解释性与表达力。然而,基于可用数据生长决策树可能产生超出必要大小的树或不能很好泛化的树。在本文中,我们介绍了两种用于从ANN提取规则的新型多元决策树(MDT)算法:精确可转换决策树(EC-DT)与扩展C-Net算法。它们都将带有修正线性单元激活函数的神经网络转换为一个代表性树,该树可进一步用于提取多元规则以进行推理。EC-DT以逐层方式翻译ANN以精确表示网络隐藏层隐式学习的决策边界,而扩展C-Net将来自EC-DT的分解方法与C5树学习算法结合以形成决策规则。结果表明,虽然EC-DT在保持ANN的结构与保真度方面更优,扩展C-Net从ANN生成最紧凑且高效的树。两种所提MDT算法都生成包含多属性组合的规则,用于决策制定的精确解释。
引用
@article{arxiv.2003.04675,
title = {Towards Interpretable ANNs: An Exact Transformation to Multi-Class Multivariate Decision Trees},
author = {Duy T. Nguyen and Kathryn E. Kasmarik and Hussein A. Abbass},
journal= {arXiv preprint arXiv:2003.04675},
year = {2021}
}
备注
57 pages