在紧凑空间对齐: 异构架构之间的对比知识蒸馏
计算机视觉与模式识别
2024-05-30 v1
摘要
知识蒸馏通常用于压缩神经网络，减少推理成本和内存占用。在同构架构场景中，基于特征的方法已被广泛验证其有效性。然而，在教师和学生模型架构异构的场景中，这些方法的固有差异在特征表示方面显著降低了性能。近期研究指出，低频分量构成图像特征的绝大部分。在此基础上，我们提出了基于低频分量的对比知识蒸馏 (LFCC) 框架，以显著增强异构架构之间基于特征的蒸馏性能。具体而言，我们设计了一组多尺度低通滤波器，从教师和学生模型的中间特征中提取低频分量，在紧凑空间中对齐这些低频分量，以克服架构差异。此外，利用教师-学生框架的内在配对特性，我们设计了一种创新的样本级对比学习框架，善于将样本内特征相似性和样本间特征差异性约束重新结构化为对比学习任务。这种策略使学生模型能够在保持样本内特征一致性的同时，提高不同样本特征的辨识度。因此，我们的 LFCC 框架准确捕获了异构架构之间特征表示的共性。广泛的评估和经验分析表明，LFCC 在 ImageNet-1K 和 CIFAR-100 等具有挑战性的基准测试上实现了卓越的性能。所有代码将公开可用。
引用
@article{arxiv.2405.18524,
title = {Aligning in a Compact Space: Contrastive Knowledge Distillation between Heterogeneous Architectures},
author = {Hongjun Wu and Li Xiao and Xingkuo Zhang and Yining Miao},
journal= {arXiv preprint arXiv:2405.18524},
year = {2024}
}
备注
12 pages, 3 figures, conference paper