IDEAL：基于黑盒模型的高效查询无数据学习
人工智能
2023-08-21 v2
摘要
知识蒸馏(KD)是一种借助训练良好的教师模型来训练轻量级学生模型的典型方法。然而，大多数KD方法需要访问教师的训练数据或模型参数，这并不现实。为解决这个问题，近期研究在数据无关和黑盒设定下研究KD。尽管如此，这些工作需要对教师模型进行大量查询，带来了显著的金钱与计算成本。为解决这些问题，我们提出了一种称为\emph{基于黑盒模型的高效查询无数据学习}(IDEAL)的新方法，旨在以高效查询方式从黑盒模型API中学习，以在没有任何真实数据的情况下训练出好的学生模型。具体而言，IDEAL分两个阶段训练学生模型：数据生成与模型蒸馏。注意IDEAL在数据生成阶段不需要任何查询，仅在蒸馏阶段对每个样本查询教师一次。在多个真实世界数据集上的大量实验表明了所提IDEAL的有效性。例如，在CIFAR10数据集上，IDEAL仅用DFME 0.02倍的查询预算，就能将最佳基线方法DFME的性能提升5.83%。
引用
@article{arxiv.2205.11158,
title = {IDEAL: Query-Efficient Data-Free Learning from Black-box Models},
author = {Jie Zhang and Chen Chen and Lingjuan Lyu},
journal= {arXiv preprint arXiv:2205.11158},
year = {2023}
}
备注
ICLR 2023