面向无数据学生学习的定制化合成数据
计算机视觉与模式识别
2023-07-11 v1
摘要
无数据知识蒸馏（DFKD）旨在无需原始训练数据而获得轻量级学生模型。现有工作通常从预训练教师模型合成数据以替代原始训练数据用于学生学习。为更有效地训练学生模型，合成数据应针对当前学生学习能力进行定制。然而，现有 DFKD 方法忽略了这一点，从而对学生训练产生负面影响。为解决该问题，本文提出面向无数据学生学习的定制化合成数据（CSD），其利用自监督增强辅助任务估计学生学习能力，从而实现自适应数据合成。具体而言，数据合成被动态调整以扩大标签与自监督增强任务预测之间的交叉熵，从而为学生模型生成困难样本。在多个数据集及师生模型上的实验表明了所提方法的有效性。代码见：
引用
@article{arxiv.2307.04542,
title = {Customizing Synthetic Data for Data-Free Student Learning},
author = {Shiya Luo and Defang Chen and Can Wang},
journal= {arXiv preprint arXiv:2307.04542},
year = {2023}
}
备注
ICME 2023