稀疏斜决策树：理解与操控神经网络特征的工具
机器学习
2023-01-31 v2 计算机视觉与模式识别
摘要
深度网络在实际应用中的广泛部署引发了对理解此类黑盒方法如何及为何进行预测的日益增长的需求。大量工作聚焦于理解输入模式（如图像）的哪一部分导致特定类别的预测，以及如何操控输入以预测不同类别。我们转而聚焦于理解神经网络所计算的内部特征中哪些对特定类别负责。我们通过用决策节点具有稀疏权重向量的斜决策树来模仿神经网络的一部分来实现这一点。利用近期提出的树交替优化（TAO）算法，我们能够学习既高度准确又可解释的树。此类树可忠实模仿其所替代的神经网络部分，从而能提供对深度网络黑盒的洞察。进一步，我们展示可轻松操控神经网络特征以使网络预测或不预测给定类别，从而表明在特征层面进行对抗攻击是可能的。这些洞察与操控全局适用于整个训练与测试集，而非仅局部（单样本）层面。我们在 MNIST 与 ImageNet 数据集上用 LeNet5 与 VGG 网络稳健地展示了这一点。
引用
@article{arxiv.2104.02922,
title = {Sparse Oblique Decision Trees: A Tool to Understand and Manipulate Neural Net Features},
author = {Suryabhan Singh Hada and Miguel Á. Carreira-Perpiñán and Arman Zharmagambetov},
journal= {arXiv preprint arXiv:2104.02922},
year = {2023}
}
备注
Appears in Data Mining and Knowledge Discovery (2023), Special Issue on Explainable and Interpretable Machine Learning and Data Mining