利用梯度匹配与隐式微分学习生成合成训练数据
机器学习
2022-03-17 v1 人工智能
神经与进化计算
机器学习
摘要
使用海量训练数据集可能代价高昂且不方便。本文探讨了各种数据蒸馏技术，这些技术可减少成功训练深度网络所需的数据量。受近期思想的启发，我们提出了基于生成式教学网络、梯度匹配和隐函数定理的新数据蒸馏技术。在MNIST图像分类问题上的实验表明，新方法比先前方法在计算上更高效，并能够提升在蒸馏数据上训练的模型的性能。
引用
@article{arxiv.2203.08559,
title = {Learning to Generate Synthetic Training Data using Gradient Matching and Implicit Differentiation},
author = {Dmitry Medvedev and Alexander D'yakonov},
journal= {arXiv preprint arXiv:2203.08559},
year = {2022}
}