Disentangled3D：从单目图像学习几何与外观解耦的 3D 生成模型
计算机视觉与模式识别
2022-03-31 v1 图形学
摘要
从单目图像数据集学习 3D 生成模型可实现自监督 3D 推理与可控合成。最先进的 3D 生成模型是使用神经 3D 体表示的 GAN，通过从给定相机渲染体来合成图像。这些模型能在任意生成图像中将 3D 场景与相机视角解耦。然而，多数模型未解耦图像生成的其他因素，如几何与外观。本文中，我们设计了一个 3D GAN，仅从单目观测即可学习物体的解耦模型。我们的模型能解耦场景中的几何与外观变化，即我们可以从生成模型的几何与外观空间独立采样。这是通过一种新颖的非刚性可变形场景公式实现的。表示物体实例的 3D 体被计算为对非刚性形变的规范 3D 体的变形。我们的方法在训练期间联合学习规范体及其形变。该公式还借助定义在 3D 形变场上的新颖姿态正则化损失，帮助我们改进 3D 场景与相机视角间的解耦。此外，我们进一步建模逆形变，从而实现由本模型生成图像间的稠密对应计算。最后，我们设计了一种将真实图像嵌入到解耦生成模型潜空间的方法，支持真实图像编辑。
引用
@article{arxiv.2203.15926,
title = {Disentangled3D: Learning a 3D Generative Model with Disentangled Geometry and Appearance from Monocular Images},
author = {Ayush Tewari and Mallikarjun B R and Xingang Pan and Ohad Fried and Maneesh Agrawala and Christian Theobalt},
journal= {arXiv preprint arXiv:2203.15926},
year = {2022}
}
备注
CVPR 2022