对初始种子向量的合成偏移揭示了基于潜空间扩散模型的脆弱本质
计算机视觉与模式识别
2023-12-20 v1 人工智能
机器学习
摘要
条件扩散模型的最新进展已在多个领域展现出强大的能力。然而，理解初始种子向量变化的影响仍是一个未充分探索的领域。特别是，基于潜空间的扩散模型在使用次优初始种子向量初始化时，在标准条件下生成图像时表现出不一致性。为了理解初始种子向量对生成样本的影响，我们提出了一种可靠性评估框架，该框架评估扩散模型在初始种子向量经历各种合成偏移时生成的样本。我们的结果表明，对最先进的Stable Diffusion（Rombach等人，2022）的初始种子向量进行轻微操作，会导致生成样本出现显著扰动，从而产生不受条件变量影响的图像。相比之下，GLIDE（Nichol等人，2022）即使在初始种子向量发生变换时，也能生成可靠的样本。因此，我们的研究揭示了在基于潜空间的扩散模型中选择初始种子向量的重要性及其影响。
引用
@article{arxiv.2312.11473,
title = {Synthetic Shifts to Initial Seed Vector Exposes the Brittle Nature of Latent-Based Diffusion Models},
author = {Mao Po-Yuan and Shashank Kotyan and Tham Yik Foong and Danilo Vasconcellos Vargas},
journal= {arXiv preprint arXiv:2312.11473},
year = {2023}
}