面向在线知识蒸馏的多尺度特征提取与融合
计算机视觉与模式识别
2022-06-17 v1
摘要
在线知识蒸馏在所有学生模型间进行知识迁移，以缓解对预训练模型的依赖。然而，现有在线方法严重依赖预测分布，忽视了对表征知识的进一步挖掘。本文提出一种新颖的用于在线知识蒸馏的多尺度特征提取与融合方法（MFEF），其包含三个关键组件：多尺度特征提取、双注意力与特征融合，以生成信息更丰富的特征图用于蒸馏。所提出的在通道维度上利用分而拼接的多尺度特征提取，提升了特征图的多尺度表征能力。为获取更精确的信息，我们设计双注意力以自适应地增强重要通道与空间区域。此外，我们通过特征融合聚合并融合前述处理后的特征图，以辅助学生模型训练。在 CIFAR-10、CIFAR-100 与 CINIC-10 上的大量实验表明，MFEF 为蒸馏迁移了更有益的表征知识，并在多种网络架构下优于替代方法。
引用
@article{arxiv.2206.08224,
title = {Multi scale Feature Extraction and Fusion for Online Knowledge Distillation},
author = {Panpan Zou and Yinglei Teng and Tao Niu},
journal= {arXiv preprint arXiv:2206.08224},
year = {2022}
}
备注
12 pages, 3 figures