关系引导的对抗学习用于无数据知识迁移

无数据知识蒸馏通过从预训练模型中恢复训练数据来迁移知识。尽管近期在寻求全局数据多样性方面取得了成功，但每个类别内部的多样性以及不同类别之间的相似性在很大程度上被忽视，导致数据同质化和性能受限。本文提出了一种新颖的基于三元组损失的关系引导对抗学习方法，从两个方面解决了同质化问题。具体而言，我们的方法旨在促进生成样本的类内多样性和类间混淆。为此，我们设计了两个阶段：图像合成阶段和学生训练阶段。在图像合成阶段，我们构建了一个优化过程，将相同标签的样本推远，将不同标签的样本拉近，从而分别实现类内多样性和类间混淆。然后，在学生训练阶段，我们执行相反的优化，对抗性地尝试减小同类样本的距离并增大异类样本的距离。为了缓解追求高全局多样性与保持类间混淆之间的冲突，我们提出了一种焦点加权采样策略，通过在有限距离范围内不均匀地选择三元组中的负样本。RGAL在准确性和数据效率上显著优于先前的最先进方法。此外，RGAL可以嵌入到各种无数据知识迁移应用的最先进方法中。在多个基准上的实验证明了我们方法在各种任务上的有效性和泛化能力，特别是无数据知识蒸馏、无数据量化和无样本增量学习。我们的代码可在 https://github.com/Sharpiless/RGAL 获取。