分层 Bregman 表示学习及其在知识蒸馏中的应用
机器学习
2022-09-16 v1
摘要
本工作中，我们提出一种针对已训练神经网络的分层表示学习新方法。具体而言，我们基于该层的传递函数构造 Bregman 散度，并通过引入均值向量并根据均值附近局部凸函数几何对主方向进行归一化，构建原始 Bregman PCA 公式的扩展。该推广允许将学到的表示导出为带非线性的固定层。作为知识蒸馏的应用，我们将学生网络的学习问题表述为预测教师表示的压缩系数，这些系数作为导入层的输入传递。我们的实证发现表明，与利用教师倒数第二层表示和软标签的典型师生训练相比，我们的方法在网间信息迁移上显著更有效。
引用
@article{arxiv.2209.07080,
title = {Layerwise Bregman Representation Learning with Applications to Knowledge Distillation},
author = {Ehsan Amid and Rohan Anil and Christopher Fifty and Manfred K. Warmuth},
journal= {arXiv preprint arXiv:2209.07080},
year = {2022}
}