基于奇异值分解的自监督知识蒸馏
机器学习
2018-07-19 v1 计算机视觉与模式识别
机器学习
摘要
为解决深度神经网络（DNN）训练数据集庞大及计算量高的问题，研究者提出了将教师DNN的知识迁移到学生DNN的师生（T-S）DNN。然而，现有T-S-DNN适用范围有限，且教师DNN的知识向学生DNN迁移不充分。为提升从教师DNN迁移的知识质量，我们提出了一种利用奇异值分解（SVD）的新知识蒸馏方法。此外，我们将知识迁移定义为自监督任务，并给出了一种持续从教师DNN接收信息的方式。仿真结果表明，计算成本仅为教师DNN五分之一的学生DNN在分类准确率上可优于教师DNN达1.1%。且在相同计算成本假设下，我们的学生DNN以1.79%的性能优势超越了由最先进蒸馏方法驱动的学生DNN。代码见 https://github.com/sseung0703/SSKD_SVD。
引用
@article{arxiv.1807.06819,
title = {Self-supervised Knowledge Distillation Using Singular Value Decomposition},
author = {Seung Hyun Lee and Dae Ha Kim and Byung Cheol Song},
journal= {arXiv preprint arXiv:1807.06819},
year = {2018}
}
备注
accepted to ECCV 2018