StochSync：用于任意空间图像生成的随机扩散同步
计算机视觉与模式识别
2025-03-04 v2 人工智能
摘要
我们提出一种零样本方法，用于生成任意空间（例如用于360度全景图的球面和用于纹理的网格表面）中的图像。使用预训练的图像扩散模型进行各种视觉内容的零样本生成主要有两个方向的探索。首先，扩散同步通过在不同投影空间中联合执行逆扩散过程，并在目标空间中同步，可在提供足够条件时生成高质量输出，但在条件不足时效果不佳。其次，得分蒸馏采样通过梯度下降逐步更新目标空间数据，结果更连贯但常常缺乏细节。本文首次揭示了这两种方法之间的相互关联，同时强调了其差异。为此，我们提出了StochSync一种新方法，将两者优势结合起来，使其在弱条件下也能有效工作。我们的实验表明，StochSync在360度全景图生成（无图像条件）中表现最佳，超越了以前的微调方法，而在3D网格纹理（有深度条件）中也能与以前的方法保持相当水平。
引用
@article{arxiv.2501.15445,
title = {StochSync: Stochastic Diffusion Synchronization for Image Generation in Arbitrary Spaces},
author = {Kyeongmin Yeo and Jaihoon Kim and Minhyuk Sung},
journal= {arXiv preprint arXiv:2501.15445},
year = {2025}
}
备注
Project page: https://stochsync.github.io/ (ICLR 2025)