关系知识蒸馏
计算机视觉与模式识别
2019-05-02 v2 机器学习
摘要
知识蒸馏旨在将一个模型（教师）中获得的知识迁移到另一个通常更小的模型（学生）。先前的方法可表述为一种训练学生去模仿教师所表示的单个数据样本输出激活的形式。我们引入一种称为关系知识蒸馏（RKD）的新方法，其迁移的是数据样本间的相互关系。作为 RKD 的具体实现，我们提出了距离式和角度式蒸馏损失，用以惩罚关系中的结构差异。在不同任务上进行的实验表明，所提方法以显著幅度改进了受训学生模型。特别是在度量学习中，它使学生能够超越其教师的性能，在标准基准数据集上取得 SOTA 结果。
引用
@article{arxiv.1904.05068,
title = {Relational Knowledge Distillation},
author = {Wonpyo Park and Dongju Kim and Yan Lu and Minsu Cho},
journal= {arXiv preprint arXiv:1904.05068},
year = {2019}
}
备注
Accepted to CVPR 2019