基于扩散模型的新视角合成
计算机视觉与模式识别
2022-10-11 v1 图形学
机器学习
摘要
我们提出 3DiM，一种用于 3D 新视角合成的扩散模型，能够将单一输入视角转换为跨多个视角一致且清晰的图像补全。3DiM 的核心组件是一个姿态条件图像到图像扩散模型，其以源视角及其姿态为输入，生成目标姿态下的新视角作为输出。3DiM 可利用一种称为随机条件化的新技术生成多视角 3D 一致图像。输出视角以自回归方式生成，且在每个新视角生成过程中，于每步去噪时从可用视角集合中随机选取一个条件视角。我们证明，随机条件化显著改善了图像到图像扩散模型朴素采样器的 3D 一致性，后者涉及对单一固定视角的条件化。我们在 SRN ShapeNet 数据集上将 3DiM 与已有工作比较，表明 3DiM 从单视角生成的补全具有更高保真度，同时近似满足 3D 一致性。我们还引入一种新评估方法，即 3D 一致性评分，通过在模型输出视角上训练神经场来度量生成物体的 3D 一致性。3DiM 无几何依赖，不依赖超网络或测试时优化进行新视角合成，并允许单一模型轻松扩展到大量场景。
引用
@article{arxiv.2210.04628,
title = {Novel View Synthesis with Diffusion Models},
author = {Daniel Watson and William Chan and Ricardo Martin-Brualla and Jonathan Ho and Andrea Tagliasacchi and Mohammad Norouzi},
journal= {arXiv preprint arXiv:2210.04628},
year = {2022}
}