AI-KD：用于自知识蒸馏的对抗学习与隐式正则化
计算机视觉与模式识别
2024-03-22 v2 机器学习
摘要
我们提出一种新颖的对抗惩罚自知识蒸馏方法，称为用于自知识蒸馏的对抗学习与隐式正则化（AI-KD），该方法通过对抗学习与隐式蒸馏来正则化训练过程。我们的模型不仅蒸馏来自预训练与前一周期预测概率的确定性与渐进性知识，还利用对抗学习迁移确定性预测分布的知识。其动机在于，自知识蒸馏方法以软目标正则化预测概率，但精确分布可能难以预测。我们的方法部署一个判别器以区分预训练模型与学生模型间的分布，而学生模型在训练过程中被训练来欺骗该判别器。因此，学生模型不仅能学习预训练模型的预测概率，还能对齐预训练与学生模型间的分布。我们在多个数据集上以网络架构验证了所提方法的有效性，并表明该方法取得了优于最先进方法的性能。
引用
@article{arxiv.2211.10938,
title = {AI-KD: Adversarial learning and Implicit regularization for self-Knowledge Distillation},
author = {Hyungmin Kim and Sungho Suh and Sunghyun Baek and Daehwan Kim and Daun Jeong and Hansang Cho and Junmo Kim},
journal= {arXiv preprint arXiv:2211.10938},
year = {2024}
}
备注
Accepted to KBS