特征图层面的在线对抗知识蒸馏
机器学习
2020-06-09 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
特征图包含关于图像强度和空间相关性的丰富信息。然而，以往的在线知识蒸馏方法仅利用类概率。因此，本文提出一种在线知识蒸馏方法，利用对抗训练框架不仅迁移类概率的知识，还迁移特征图的知识。我们通过采用判别器来区分不同网络的特征图分布，从而同时训练多个网络。每个网络都有对应的判别器，该判别器将来自自身网络的特征图判别为伪，而将另一网络的特征图分类为真。通过训练网络以欺骗对应的判别器，它可以学习另一网络的特征图分布。我们表明，我们的方法优于传统的直接对齐方法（如 L1），并且更适用于在线蒸馏。此外，我们提出了一种新颖的循环学习方案，用于共同训练两个以上的网络。我们将我们的方法应用于分类任务上的各种网络架构，并发现性能显著提升，尤其是在训练小网络与大网络配对的情况下。
引用
@article{arxiv.2002.01775,
title = {Feature-map-level Online Adversarial Knowledge Distillation},
author = {Inseop Chung and SeongUk Park and Jangho Kim and Nojun Kwak},
journal= {arXiv preprint arXiv:2002.01775},
year = {2020}
}