迈向基于亲和力的知识蒸馏的统一视角
计算机视觉与模式识别
2022-10-03 v1
摘要
人工神经网络之间的知识迁移已成为深度学习中的一个重要课题。待解决的问题包括：迁移中需要保留何种知识，以及如何有效实现。近期的若干工作展示了使用基于关系的知识的蒸馏方法的良好性能。这些算法极具吸引力，因为它们基于简单的样本间相似性。然而，在此背景下亲和力的恰当度量及其使用远未被充分理解。本文通过将知识蒸馏显式模块化为亲和力、归一化与损失三个组件的框架，对这些算法给出统一处理，并研究了若干未被探索的模块组合。借助该框架，我们对图像分类的众多蒸馏目标进行了广泛评估，获得了一些关于有效设计选择的实用见解，同时展示了尽管简单，基于关系的知识蒸馏如何能达到与最先进水平(state of the art)相当的性能。
引用
@article{arxiv.2209.15555,
title = {Towards a Unified View of Affinity-Based Knowledge Distillation},
author = {Vladimir Li and Atsuto Maki},
journal= {arXiv preprint arXiv:2209.15555},
year = {2022}
}