CAE-DFKD：桥接数据自由知识蒸馏中的迁移性差距
计算机视觉与模式识别
2025-05-01 v1 神经与进化计算
摘要
数据自由知识蒸馏（DFKD）使预训练教师网络的知识能够在没有实际训练数据的情况下，传递给目标学生模型。现有 DFKD 方法主要关注提高在相关数据集上的图像识别性能，往往忽视了所学表征迁移性的关键方面。本文提出了类别感知嵌入数据自由知识蒸馏（CAE-DFKD），该方法在嵌入层面解决了以往依赖图像级方法以提高模型泛化能力但在 DFKD 场景下难以直接应用的局限性。CAE-DFKD 的优势与灵活性在广泛的评估中得到了充分验证，包括：\textit{\textbf{i.)}} 由于改变生成器训练范式而实现的显著效率优势；\textit{\textbf{ii.)}} 在图像识别任务上与现有 DFKD 最先进方法保持竞争力的性能；\textit{\textbf{iii.)}} 在下游任务中所学数据自由表征的显著迁移性。
引用
@article{arxiv.2504.21478,
title = {CAE-DFKD: Bridging the Transferability Gap in Data-Free Knowledge Distillation},
author = {Zherui Zhang and Changwei Wang and Rongtao Xu and Wenhao Xu and Shibiao Xu and Yu Zhang and Li Guo},
journal= {arXiv preprint arXiv:2504.21478},
year = {2025}
}