当模型知识遇见扩散模型:基于扩散模型的无数据图像合成
计算机视觉与模式识别
2025-06-19 v1
摘要
开源预训练模型在 diverse 应用中具有巨大潜力,但在缺乏训练数据的情境下其效用会下降。无数据图像合成 (DFIS) 旨在生成与预训练模型所学习数据分布相匹配的图像,而无需访问原始数据。然而,现有 DFIS 方法由于缺乏关于自然图像的先验知识,会产生偏离训练数据分布的样本。为克服这一限制,我们提出 DDIS,即首个基于扩散模型的无数据图像合成方法,利用文本到图像扩散模型作为强大的图像先验,提升合成图像质量。DDIS 从给定模型中提取所学习分布的知识,并据此引导扩散模型,实现与训练数据分布相符的图像生成。为此,我们引入域对齐指南 (DAG),在扩散采样过程中将合成数据域与训练数据域对齐。此外,我们优化单个类别对齐标记 (CAT) 嵌入,有效捕获训练数据集中的类别特定属性。在 PACS 和 ImageNet 上的实验表明,DDIS 在无数据应用中超越了先前 DFIS 方法,生成的样本更能反映训练数据分布,实现了 SOTA 性能。
引用
@article{arxiv.2506.15381,
title = {When Model Knowledge meets Diffusion Model: Diffusion-assisted Data-free Image Synthesis with Alignment of Domain and Class},
author = {Yujin Kim and Hyunsoo Kim and Hyunwoo J. Kim and Suhyun Kim},
journal= {arXiv preprint arXiv:2506.15381},
year = {2025}
}
备注
Published at ICML 2025