获取时学习保留：对抗无数据知识蒸馏中的分布偏移对抗
机器学习
2023-03-01 v1 计算机视觉与模式识别
摘要
无数据知识蒸馏（DFKD）近来备受关注，其基本思想是在缺乏训练数据的情况下，将知识从教师神经网络迁移到学生神经网络。然而，在对抗性 DFKD 框架中，由于在多次生成器更新下伪样本的非平稳分布，学生网络的准确率会受到影响。为此，在每次生成器更新时，我们的目标是保持学生在先前遇到的样本上的性能，同时从当前分布的样本中获取知识。因此，我们提出了一个受元学习启发的框架，将知识获取（从新生成的样本中学习）和知识保留（在先前遇到的样本上保留知识）分别作为元训练和元测试。因此，我们将我们的方法称为获取时学习保留。此外，我们发现了知识保留和知识获取任务之间的一个隐式对齐因素，这表明所提出的学生更新策略强制这两个任务具有共同的梯度方向，从而减轻了两个目标之间的干扰。最后，我们通过在多个数据集上展示我们方法与现有技术的广泛评估和比较来支持我们的假设。
引用
@article{arxiv.2302.14290,
title = {Learning to Retain while Acquiring: Combating Distribution-Shift in Adversarial Data-Free Knowledge Distillation},
author = {Gaurav Patel and Konda Reddy Mopuri and Qiang Qiu},
journal= {arXiv preprint arXiv:2302.14290},
year = {2023}
}
备注
Accepted at CVPR 2023