提升黑盒少样本知识蒸馏中的多样性
计算机视觉与模式识别
2026-04-29 v1 机器学习
摘要
知识蒸馏（KD）是一种广为人知的技术，能够将大型网络（教师）有效压缩为较小的网络（学生），且性能损失极小。然而，大多数 KD 方法需要大型训练集与对教师的内部访问，由于各种限制，这些条件很少得到满足。这些挑战催生了一种更实用的设定，即黑盒少样本 KD，其中学生仅用少量图像与黑盒教师进行训练。近期方法通常生成额外的合成图像，但缺乏促进其多样性的主动策略，而多样性是学生学习的关键因素。为解决这些问题，我们提出了一种用于生成对抗网络的新型训练方案，其中我们在教师监督下自适应选取高置信度图像，并即时将其引入对抗学习。我们的方法有助于扩展并提升蒸馏集的多样性，显著提高学生准确率。通过大量实验，我们在七个图像数据集上取得了优于其他少样本 KD 方法的 SOTA 结果。代码可在 https://github.com/votrinhan88/divbfkd 获取。
引用
@article{arxiv.2604.25795,
title = {Improving Diversity in Black-box Few-shot Knowledge Distillation},
author = {Tri-Nhan Vo and Dang Nguyen and Kien Do and Sunil Gupta},
journal= {arXiv preprint arXiv:2604.25795},
year = {2026}
}