KTAN：知识迁移对抗网络
机器学习
2018-10-19 v1 计算机视觉与模式识别
机器学习
摘要
为了降低深度卷积神经网络巨大的计算与存储开销，基于知识蒸馏的方法率先将大型（教师）深度网络的泛化能力迁移到轻量级（学生）网络。然而，这些方法大多关注于迁移教师网络 softmax 层的概率分布，从而忽略了中间表示。本文提出一种知识迁移对抗网络以更好地训练学生网络。我们的技术从整体上都考虑了教师网络的中间表示与概率分布。为迁移中间表示的知识，我们将高层教师特征图设为目标，学生特征图朝此目标进行训练。具体而言，我们布置了一个教师到学生层，使我们的框架适用于各种学生结构。与仅使用概率分布相比，中间表示有助于学生网络更好地理解所迁移的泛化能力。此外，我们通过采用一个判别器网络引入了对抗学习过程，从而能在训练学生网络时充分利用特征图的空间相关性。实验结果表明，所提方法能显著提升学生网络在图像分类与目标检测任务上的性能。
引用
@article{arxiv.1810.08126,
title = {KTAN: Knowledge Transfer Adversarial Network},
author = {Peiye Liu and Wu Liu and Huadong Ma and Tao Mei and Mingoo Seok},
journal= {arXiv preprint arXiv:1810.08126},
year = {2018}
}
备注
8 pages, 2 figures