基于生成对抗网络的师生压缩
机器学习
2020-03-24 v4 机器学习
摘要
更准确的机器学习模型在测试时往往需要更多的计算和内存，难以部署在受 CPU 或内存限制的设备上。师生压缩 (teacher-student compression, TSC)，也称为蒸馏 (distillation)，通过训练一个成本更低的 student 模型来模仿昂贵的 teacher 模型，同时保持大部分原始精度，从而减轻这一负担。然而，当压缩任务没有新数据时，通常会复用 teacher 的训练数据，导致压缩效果欠佳。在这项工作中，我们提出用生成对抗网络 (generative adversarial network, GAN) 生成的合成数据来扩充压缩数据集，该 GAN 旨在逼近训练数据的分布。我们的 GAN 辅助 TSC (GAN-TSC) 在表格和图像数据集上显著提升了诸如大型随机森林和深度神经网络等昂贵模型的 student 精度。基于这些结果，我们提出了一个综合指标——TSC Score——用于根据其所诱导的 TSC 性能来评估合成数据集的质量。TSC Score 同时刻画了数据多样性和类别亲和性，并在图像分类背景下展示了其相对于流行的 Inception Score 的优势。
引用
@article{arxiv.1812.02271,
title = {Teacher-Student Compression with Generative Adversarial Networks},
author = {Ruishan Liu and Nicolo Fusi and Lester Mackey},
journal= {arXiv preprint arXiv:1812.02271},
year = {2020}
}