DreamComposer：基于多视角条件的可控 3D 物体生成
计算机视觉与模式识别
2024-03-27 v2 人工智能
机器学习
摘要
利用预训练的 2D 大规模生成模型，近期的工作能够从单张野外图像生成高质量的新视角。然而，由于缺乏来自多视角的信息，这些工作在生成可控新视角时遇到困难。在本文中，我们提出了 DreamComposer，一个灵活且可扩展的框架，能够通过注入多视角条件来增强现有的视角感知扩散模型。具体而言，DreamComposer 首先使用视角感知 3D 提升模块从多视角获取物体的 3D 表示。然后，它通过多视角特征融合模块从 3D 表示中渲染目标视角的潜在特征。最后，将从多视角输入中提取的目标视角特征注入到预训练的扩散模型中。实验表明，DreamComposer 与 state-of-the-art 扩散模型兼容，可用于零样本新视角合成，进一步增强了它们在多视角条件下生成高保真新视角图像的能力，可应用于可控 3D 物体重建及其他各种应用。
引用
@article{arxiv.2312.03611,
title = {DreamComposer: Controllable 3D Object Generation via Multi-View Conditions},
author = {Yunhan Yang and Yukun Huang and Xiaoyang Wu and Yuan-Chen Guo and Song-Hai Zhang and Hengshuang Zhao and Tong He and Xihui Liu},
journal= {arXiv preprint arXiv:2312.03611},
year = {2024}
}
备注
Project Page: https://yhyang-myron.github.io/DreamComposer/