利用决策树通过特征图变换进行卷积神经网络的知识蒸馏
计算机视觉与模式识别
2024-03-12 v1 信号处理
摘要
由于其固有的黑盒性质，对深度神经网络（DNN）的推理进行解释仍然具有挑战性。因此，由于缺乏透明度，DNN在多项实际任务中的部署受到限制。我们提出了一种蒸馏方法，通过从卷积神经网络（CNN）的最后一层提取特征来为其推理提供见解。CNN最后一层的特征图使用全连接层转换为一维特征向量。随后，利用提取的特征训练决策树，以在深度和节点约束下实现最佳准确率。我们使用来自医学MNIST数据集的dermaMNIST、octMNIST和pneumoniaMNIST医学图像来展示我们提出的工作。我们观察到，决策树的性能与具有最小复杂度的CNN一样好。结果鼓励使用决策树来解释CNN做出的决策。
引用
@article{arxiv.2403.06089,
title = {Knowledge Distillation of Convolutional Neural Networks through Feature Map Transformation using Decision Trees},
author = {Maddimsetti Srinivas and Debdoot Sheet},
journal= {arXiv preprint arXiv:2403.06089},
year = {2024}
}