基于多分辨率数据生成的大规模数据自由知识蒸馏用于 ImageNet
计算机视觉与模式识别
2024-11-27 v1
摘要
数据自由知识蒸馏 (DFKD) 是一种高级技术，使教师模型能够在不依赖原始训练数据的情况下将知识传递给学生模型。虽然 DFKD 方法在较小的数据集（如 CIFAR10 和 CIFAR100）上取得了成功，但在更大、更高分辨率的数据集（如 ImageNet）上则面临挑战。以往方法的主要问题是在高分辨率（例如 ）生成合成图像，而未利用真实图像的信息，常导致图像噪声大，且缺乏大数据集中关键类别特征。此外，生成大量数据以进行有效知识传递的计算成本也相当高。本文提出了 MUlti-reSolution data-freE (MUSE) 方法以克服这些限制。MUSE 在较低分辨率生成图像，并利用类别激活图 (CAM) 确保生成图像保留关键类别特征。为进一步增强模型多样性，我们提出了多分辨率生成和嵌入多样性技术，以强化潜在空间表示，显著提升性能。实验结果表明，MUSE 在所有小规模和大规模数据集上均实现了最先进的性能，在几乎所有 ImageNet 和子集实验中均取得了最高的性能提升。代码可在 https://github.com/tmtuan1307/muse 获取。
引用
@article{arxiv.2411.17046,
title = {Large-Scale Data-Free Knowledge Distillation for ImageNet via Multi-Resolution Data Generation},
author = {Minh-Tuan Tran and Trung Le and Xuan-May Le and Jianfei Cai and Mehrtash Harandi and Dinh Phung},
journal= {arXiv preprint arXiv:2411.17046},
year = {2024}
}