基于统一蒸馏的神经网络知识迁移协调
计算机视觉与模式识别
2024-09-30 v1
摘要
知识蒸馏（KD）以其在不改变网络架构的情况下，将知识从笨重的网络（教师）迁移到轻量级网络（学生）的能力而闻名，正受到越来越多的关注。KD 方法主要分为两类：基于特征的方法，侧重于中间层的特征；基于 logits 的方法，以最终层的 logits 为目标。本文通过在统一的 KD 框架内利用多种知识来源，引入了一种新视角。具体而言，我们将中间层的特征聚合为一个综合表示，从而有效地收集不同阶段和尺度的语义信息。随后，我们根据该表示预测分布参数。这些步骤将中间层的知识转化为相应的分布形式，从而允许通过网络不同阶段的统一分布约束进行知识蒸馏，确保知识迁移的全面性与连贯性。我们进行了大量实验以验证所提方法的有效性。
引用
@article{arxiv.2409.18565,
title = {Harmonizing knowledge Transfer in Neural Network with Unified Distillation},
author = {Yaomin Huang and Zaomin Yan and Chaomin Shen and Faming Fang and Guixu Zhang},
journal= {arXiv preprint arXiv:2409.18565},
year = {2024}
}