通过保持角度改进特征蒸馏
计算机视觉与模式识别
2025-11-18 v3
摘要
知识蒸馏方法通过使用高质量教师模型的分类输出训练学生网络来压缩模型，但可能无法有效地将计算机视觉基础模型的属性从教师传递到学生。虽然最近的工作表明，特征蒸馏——即复制教师模型的输出特征——可在诸多下游任务上再现性能，但在匹配鲁棒性和分布外(OOD)检测性能等关键属性方面仍有不足。本文通过引入保持余弦相似性的压缩技术(CosPress)，克服了这一不足。CosPress学习一种映射，将教师模型的潜在空间压缩到学生模型的较小潜在空间，通过保持图像嵌入之间的余弦相似性来实现。这使得能够直接优化学生网络，产生更忠实地再现教师属性的结果。在various数据集上进行的蒸馏实验证明，包括ImageNet，CosPress可产生更准确的模型，在一般化、鲁棒性和OOD检测基准测试中表现更佳，该技术为在小数据集上训练高性能轻量级模型提供了一条具竞争力的路径。代码已发布于 github.com/emannix/cospress.
引用
@article{arxiv.2411.15239,
title = {Preserving Angles Improves Feature Distillation},
author = {Evelyn J. Mannix and Liam Hodgkinson and Howard Bondell},
journal= {arXiv preprint arXiv:2411.15239},
year = {2025}
}