条件扩散模型中的规范潜在表示
机器学习
2025-06-12 v1 计算机视觉与模式识别
摘要
条件扩散模型（CDM）在多种生成任务中展现了令人瞩目的性能。其对完整数据分布的建模能力为下游判别式学习中的分析-合成方法开辟了新的途径。然而，同样的建模能力导致CDM将类别定义特征与无关上下文纠缠在一起，给提取鲁棒且可解释的表示带来了挑战。为此，我们提出了规范潜在表示（CLAReps），即一种潜在编码，其内部CDM特征保留了必要的类别信息，同时摒弃了非判别性信号。解码后，CLAReps为每个类别生成代表性样本，以最少的无关细节提供了对核心类别语义的可解释且紧凑的总结。利用CLAReps，我们开发了一种新颖的基于扩散的特征蒸馏范式——CaDistill。虽然学生模型可以完全访问训练集，但作为教师的CDM仅通过CLAReps传递核心类别知识，其规模仅相当于训练数据的10%。训练完成后，学生模型实现了强大的对抗鲁棒性和泛化能力，更加关注类别信号而非虚假的背景线索。我们的发现表明，CDM不仅可以作为图像生成器，还可以作为紧凑且可解释的教师模型，驱动鲁棒的表示学习。
引用
@article{arxiv.2506.09955,
title = {Canonical Latent Representations in Conditional Diffusion Models},
author = {Yitao Xu and Tong Zhang and Ehsan Pajouheshgar and Sabine Süsstrunk},
journal= {arXiv preprint arXiv:2506.09955},
year = {2025}
}
备注
45 pages,41 figures