Zero123++：从单张图像生成一致多视图的扩散基模型
计算机视觉与模式识别
2023-10-24 v1 图形学
摘要
我们提出 Zero123++，一种以图像为条件的扩散模型，用于从单张输入视图生成三维一致的多视图图像。为充分利用预训练的 2D 生成先验，我们开发了多种条件化和训练方案，以最小化从现成图像扩散模型（如 Stable Diffusion）微调所需的工作量。Zero123++ 擅长从单张图像生成高质量、一致的多视图图像，克服了纹理退化和几何错位等常见问题。此外，我们展示了在 Zero123++ 上训练 ControlNet 以增强对生成过程控制的可行性。代码见 https://github.com/SUDO-AI-3D/zero123plus。
引用
@article{arxiv.2310.15110,
title = {Zero123++: a Single Image to Consistent Multi-view Diffusion Base Model},
author = {Ruoxi Shi and Hansheng Chen and Zhuoyang Zhang and Minghua Liu and Chao Xu and Xinyue Wei and Linghao Chen and Chong Zeng and Hao Su},
journal= {arXiv preprint arXiv:2310.15110},
year = {2023}
}