基于多尺度特征解耦的对比表示蒸馏
计算机视觉与模式识别
2025-10-14 v3 人工智能
摘要
知识蒸馏通过从更强大的教师网络传递知识来提高紧凑学生网络性能，而无需引入额外参数。在特征空间中，单个全局特征内部的局部区域编码了 distinct 且相互依赖的语义信息。以往基于特征的蒸馏方法主要强调全局特征对齐，而忽略单个全局特征内部局部区域的解耦，导致语义混淆和次优性能。此外，传统的对比表示蒸馏因依赖存储大量特征样本的内存缓冲区而效率低下。为解决这些限制，我们提出MSDCRD(多尺度特征解耦对比表示蒸馏)，这是一种模型无关的蒸馏框架，系统性地将全局特征解耦为多尺度局部特征，并利用结果丰富的语义特征样本采用针对性的样本级和特征级对比损失。此设计使仅需单个小批量即可实现蒸馏，消除对外部内存的依赖。大量实验表明，MSDCRD在同构教师-学生设置以及异构架构中均实现卓越的性能，突出了其强大的泛化能力。
引用
@article{arxiv.2502.05835,
title = {Contrastive Representation Distillation via Multi-Scale Feature Decoupling},
author = {Cuipeng Wang and Haipeng Wang},
journal= {arXiv preprint arXiv:2502.05835},
year = {2025}
}