分数雅可比链:提升预训练二维扩散模型用于三维生成
计算机视觉与模式识别
2022-12-02 v1 机器学习
摘要
扩散模型学习预测梯度的向量场。我们提出对所学梯度应用链式法则,并通过可微渲染器的雅可比将扩散模型的分数反向传播,我们将该渲染器实例化为体素辐射场。此设置将多个相机视角的二维分数聚合为三维分数,并将预训练的二维模型重新用于三维数据生成。我们指出了该应用中出现的分布失配技术挑战,并提出了一种新颖的估计机制来解决它。我们在多个现成的扩散图像生成模型上运行我们的算法,包括近期发布的在大规模 LAION 数据集上训练的 Stable Diffusion。
引用
@article{arxiv.2212.00774,
title = {Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation},
author = {Haochen Wang and Xiaodan Du and Jiahao Li and Raymond A. Yeh and Greg Shakhnarovich},
journal= {arXiv preprint arXiv:2212.00774},
year = {2022}
}
备注
project page https://pals.ttic.edu/p/score-jacobian-chaining