C2G-KD：用于数据自由知识蒸馏的 PCA 约束生成器
机器学习
2025-07-25 v1 人工智能
摘要
我们提出 C2G-KD，一种数据自由知识蒸馏框架，其中类条件生成器通过冻结的教师模型和从 PCA 派生的几何约束生成合成样本。生成器从不观察真实训练数据，而是通过语义损失和结构损失的组合学习激活教师的输出。通过将生成的样本限制在来自每类仅两个真实示例估计的类特定 PCA 子空间中，我们保持了拓扑一致性和多样性。MNIST 上的实验表明，即使最少的类结构也足以引导有用的合成训练管道。
引用
@article{arxiv.2507.18533,
title = {C2G-KD: PCA-Constrained Generator for Data-Free Knowledge Distillation},
author = {Magnus Bengtsson and Kenneth Östberg},
journal= {arXiv preprint arXiv:2507.18533},
year = {2025}
}
备注
12 pages