基于采样的扩散生成模型域泛化研究
机器学习
2025-12-01 v3 计算机视觉与模式识别
摘要
在本工作中，我们研究了扩散模型在合成与训练数据不同的图像方面的域泛化能力。我们没有进行微调，而是利用冻结的预训练扩散模型，从基于采样的角度来解决这一挑战。具体而言，我们证明了任意域外（OOD）图像在反演后会在给定模型的潜在空间中建立高斯先验，且这些先验与原始训练域的先验是可分离的。这种OOD潜在属性使我们能够通过在反演的噪声空间中发现合格的OOD潜在编码来合成目标未见域的新图像，而无需改变预训练模型。我们的跨模型与跨域实验表明，所提出的基于采样的方法能够扩展潜在空间并生成未见图像，且不会损害原始域的生成质量。我们还展示了使用天体物理数据的实际应用，凸显了这种泛化范式在科学探索等数据稀疏领域的潜力。
引用
@article{arxiv.2310.09213,
title = {A Sampling-Based Domain Generalization Study with Diffusion Generative Models},
author = {Ye Zhu and Yu Wu and Duo Xu and Zhiwei Deng and Yan Yan and Olga Russakovsky},
journal= {arXiv preprint arXiv:2310.09213},
year = {2025}
}
备注
NeurIPS 2025 Workshop on Frontiers in Probabilistic Inference: Learning meets Sampling. Code can be found at https://github.com/L-YeZhu/DiscoveryDiff