回归神经网络中无数据知识蒸馏的合成数据生成方法
机器学习
2023-05-11 v2
摘要
知识蒸馏是将较大的神经网络（称为教师网络）压缩为较小的神经网络（称为学生网络），同时尽可能维持较大神经网络性能的技术。现有的知识蒸馏方法大多适用于分类任务，其中许多还需要访问用于训练教师模型的数据。为解决原始训练数据缺失下回归任务的知识蒸馏问题，已有工作提出了一种无数据知识蒸馏方法，其利用与学生模型对抗训练的生成器模型来生成合成数据。这些合成数据及其由教师模型预测的标签随后被用于训练学生模型。在本研究中，我们考察了多种合成数据生成方法的行为，并提出了一种新的合成数据生成策略，该策略直接优化学生与教师模型间有界但较大的差异。我们在基准与案例研究实验上的结果表明，所提策略使学生模型学习得更好，并更紧密地模仿教师模型的性能。
引用
@article{arxiv.2301.04338,
title = {Synthetic data generation method for data-free knowledge distillation in regression neural networks},
author = {Tianxun Zhou and Keng-Hwee Chiam},
journal= {arXiv preprint arXiv:2301.04338},
year = {2023}
}
备注
19 pages, 9 figures