函数一致特征蒸馏
计算机视觉与模式识别
2023-04-25 v1
摘要
特征蒸馏使学生模仿教师的中间特征。几乎所有现有特征蒸馏方法都使用 L2 距离或其轻微变体作为教师与学生特征间的距离度量。然而，虽然 L2 距离对所有维度是各向同性的，神经网络对不同维度的操作通常是各向异性的，即具有相同 2-范数但处于中间特征不同维度的扰动，会导致最终输出发生量级差异巨大的变化。鉴于此，我们认为教师与学生特征的相似性不应仅基于其表观（即 L2 距离）度量，而更应以其功能差异——即网络后续层将如何读取、解码与处理它们——来度量。因此，我们提出函数一致特征蒸馏（FCFD），其显式优化教师与学生特征间的功能相似性。FCFD 的核心思想是使教师与学生特征不仅在数值上相似，更重要的是在输入同一网络的后半部分时产生相似输出。借助 FCFD，学生更忠实地模仿教师并从教师处学到更多。在图像分类与目标检测上的大量实验证明了 FCFD 相对于现有方法的优越性。此外，我们可将 FCFD 与许多现有方法结合以获得更高精度。我们的代码见 https://github.com/LiuDongyang6/FCFD。
引用
@article{arxiv.2304.11832,
title = {Function-Consistent Feature Distillation},
author = {Dongyang Liu and Meina Kan and Shiguang Shan and Xilin Chen},
journal= {arXiv preprint arXiv:2304.11832},
year = {2023}
}
备注
ICLR 2023