PRISM：基于生成扩散的精确-召回信息数据无关知识蒸馏
计算机视觉与模式识别
2025-09-23 v1
摘要
数据无关知识蒸馏（DFKD）在没有访问真实分布内数据（in-distribution, ID）的情况下，将教师模型的知识传递给学生模型。虽然现有方法在小规模图像上表现良好，但在合成大规模图像时会出现模式坍缩，导致知识传递受限。最近，利用先进的生成模型合成逼真图像的做法日益成为有前景的替代方案。然而，直接使用现成的扩散模型生成数据集面临精确-召回挑战：1）确保合成数据与真实分布一致，2）确保覆盖真实ID流形。为此，我们提出了PRISM，一种受精确-召回信息驱动的合成方法。具体而言，我们引入能量引导分布对齐以避免生成离群分布样本，设计多样化提示工程以增强覆盖真实ID流形。广泛的实验在各种大规模图像数据集上表明，PRISM的优越性。而且，我们展示了使用PRISM训练的模型表现出强大的域泛化能力。
引用
@article{arxiv.2509.16897,
title = {PRISM: Precision-Recall Informed Data-Free Knowledge Distillation via Generative Diffusion},
author = {Xuewan He and Jielei Wang and Zihan Cheng and Yuchen Su and Shiyue Huang and Guoming Lu},
journal= {arXiv preprint arXiv:2509.16897},
year = {2025}
}