混合数据无关知识蒸馏
计算机视觉与模式识别
2024-12-19 v1
摘要
数据无关知识蒸馏旨在从预训练的大型教师网络中学习一个紧凑的学生网络，而无需使用教师网络的原始训练数据。现有的基于收集和基于生成的方法分别通过收集大量真实样本和生成合成样本来训练学生网络。然而，由于难以收集或模拟足够的真实世界数据，它们在实际场景中不可避免地变得薄弱。为了解决这个问题，我们提出了一种名为HiDFD（混合数据无关蒸馏）的新方法，该方法仅利用少量收集的数据，同时生成足够的样本来训练学生网络。我们的HiDFD包含两个主要模块，即教师引导生成和学生蒸馏。教师引导生成模块通过教师网络引导生成对抗网络（GAN），从极少的真实世界收集样本中产生高质量的合成样本。具体来说，我们设计了一种特征集成机制，以防止GAN过拟合并促进从教师网络进行可靠的表示学习。同时，我们通过教师网络驱动一种类别频率平滑技术，以平衡每个类别的生成训练。在学生蒸馏模块中，我们探索了一种数据膨胀策略，通过基于分类器共享的特征对齐技术，适当利用真实和合成数据的混合来训练学生网络。在多个基准上的大量实验表明，我们的HiDFD在使用比现有方法少120倍的收集数据的情况下，可以实现最先进的性能。代码可在https://github.com/tangjialiang97/HiDFD获取。
引用
@article{arxiv.2412.13525,
title = {Hybrid Data-Free Knowledge Distillation},
author = {Jialiang Tang and Shuo Chen and Chen Gong},
journal= {arXiv preprint arXiv:2412.13525},
year = {2024}
}