基于堆叠主成分分析与图神经网络的可解释嵌入过程知识迁移
计算机视觉与模式识别
2021-04-29 v1 机器学习
摘要
知识蒸馏(KD)是轻量级神经网络最有用的技术之一。尽管神经网络有着将数据集嵌入到低维空间的明确目的,但现有知识与此目的相去甚远,仅提供了有限的信息。我们认为,好的知识应当能够解释嵌入过程。本文提出一种基于主成分分析生成可解释嵌入过程(IEP)知识,并基于消息传递神经网络对其进行蒸馏的方法。实验结果表明,由所提KD方法训练的学生网络在CIFAR100数据集上提升了2.28%,性能高于当前最优(SOTA)方法。我们还通过所提KD过程的可视化证明了嵌入过程知识是可解释的。实现代码见 https://github.com/sseung0703/IEPKT。
引用
@article{arxiv.2104.13561,
title = {Interpretable Embedding Procedure Knowledge Transfer via Stacked Principal Component Analysis and Graph Neural Network},
author = {Seunghyun Lee and Byung Cheol Song},
journal= {arXiv preprint arXiv:2104.13561},
year = {2021}
}
备注
accepted at AAAI2021