Diffusion360：基于扩散模型的无缝 360 度全景图像生成
计算机视觉与模式识别
2023-11-23 v1
摘要
这是一份关于基于扩散模型的 360 度全景图像生成任务的技术报告。与普通 2D 图像不同，360 度全景图像捕捉整个 视场。因此 360 全景图像的最右侧与最左侧应当连续，这是该领域的主要挑战。然而，当前的扩散流程并不适合生成此类无缝 360 度全景图像。为此，我们在去噪与 VAE 解码两个阶段提出一种循环混合策略以维持几何连续性。在此基础上，我们给出两个分别用于 \textbf{Text-to-360-panoramas} 与 \textbf{Single-Image-to-360-panoramas} 任务的模型。代码已作为开源项目发布于 \href{https://github.com/ArcherFMY/SD-T2I-360PanoImage}{https://github.com/ArcherFMY/SD-T2I-360PanoImage} 与 \href{https://www.modelscope.cn/models/damo/cv_diffusion_text-to-360panorama-image_generation/summary}{ModelScope}。
引用
@article{arxiv.2311.13141,
title = {Diffusion360: Seamless 360 Degree Panoramic Image Generation based on Diffusion Models},
author = {Mengyang Feng and Jinlin Liu and Miaomiao Cui and Xuansong Xie},
journal= {arXiv preprint arXiv:2311.13141},
year = {2023}
}
备注
2 pages, 8 figures, Tech. Report