基于图的深度几何知识蒸馏
机器学习
2019-11-11 v1 机器学习
摘要
在大多数情况下，深度学习架构的训练忽略了运算量与能耗。然而，诸如嵌入式系统等一些应用在推理时可能受资源限制。缩减深度学习架构规模的常用方法是从更大的网络（教师网络）向更小的网络（学生网络）蒸馏知识。直接训练学生网络模仿教师网络表征虽有效，但要求二者共享相同的潜空间维度。本文转而关注相对知识蒸馏（RKD），其考虑各自潜空间的几何结构，从而实现与维度无关的知识迁移。具体地，我们提出一种基于图的RKD方法，利用图来捕捉潜空间的几何结构。借助经典计算机视觉基准，我们证明了所提方法能高效地将知识从教师网络蒸馏至学生网络，在相同计算预算下相较现有RKD方案取得更优精度。
引用
@article{arxiv.1911.03080,
title = {Deep geometric knowledge distillation with graphs},
author = {Carlos Lassance and Myriam Bontonou and Ghouthi Boukli Hacene and Vincent Gripon and Jian Tang and Antonio Ortega},
journal= {arXiv preprint arXiv:1911.03080},
year = {2019}
}