在未知协变量偏移下通过置信度引导的数据增强改进知识蒸馏
计算机视觉与模式识别
2025-06-05 v2
摘要
在广泛数据集上训练的大型基础模型在各个领域展现出强大的零样本能力。为了在数据和模型规模受限时复现其成功，知识蒸馏已成为将知识从基础模型迁移至小型学生网络的成熟工具。然而，蒸馏的有效性严重受限于可用的训练数据。本工作解决了知识蒸馏中协变量偏移这一常见实际问题，即伪特征在训练时出现但在测试时不存在。我们提出的问题是：当这些伪特征未知，但存在一个鲁棒的教师模型时，学生模型是否也能对其变得鲁棒？我们通过引入一种新颖的基于扩散模型的数据增强策略来解决该问题，该策略通过最大化教师模型与学生模型之间的分歧来生成图像，从而有效创建出学生模型难以处理的困难样本。实验表明，在协变量偏移下，我们的方法显著提升了 CelebA 和 SpuCo Birds 上的最差组及平均组准确率，以及伪 ImageNet 上的伪 mAUC，优于基于扩散模型的 SOTA 数据增强基线方法。
引用
@article{arxiv.2506.02294,
title = {Improving Knowledge Distillation Under Unknown Covariate Shift Through Confidence-Guided Data Augmentation},
author = {Niclas Popp and Kevin Alexander Laube and Matthias Hein and Lukas Schott},
journal= {arXiv preprint arXiv:2506.02294},
year = {2025}
}