SyncDreamer：从单视图图像生成多视图一致图像
计算机视觉与模式识别
2024-04-16 v2 人工智能
图形学
摘要
在本文中，我们提出了一种称为 SyncDreamer 的新颖扩散模型，可从单视图图像生成多视图一致图像。利用预训练的大规模 2D 扩散模型，近期工作 Zero123 展示了从物体单视图图像生成合理新视图的能力。然而，保持生成图像在几何和颜色上的一致性仍具挑战。为解决此问题，我们提出了一种同步多视图扩散模型，其对多视图图像的联合概率分布建模，能够在单次反向过程中生成多视图一致图像。SyncDreamer 通过 3D 感知特征注意力机制在反向过程的每一步同步所有生成图像的中间状态，该机制关联不同视图间的对应特征。实验表明，SyncDreamer 生成的图像在不同视图间具有高度一致性，因此非常适用于各种 3D 生成任务，如新视图合成、文本到 3D 和图像到 3D。
引用
@article{arxiv.2309.03453,
title = {SyncDreamer: Generating Multiview-consistent Images from a Single-view Image},
author = {Yuan Liu and Cheng Lin and Zijiao Zeng and Xiaoxiao Long and Lingjie Liu and Taku Komura and Wenping Wang},
journal= {arXiv preprint arXiv:2309.03453},
year = {2024}
}
备注
ICLR 2024 Spotlight. Project page: https://liuyuan-pal.github.io/SyncDreamer/ Code: https://github.com/liuyuan-pal/SyncDreamer