3inGAN：从自相似场景图像学习三维生成模型
计算机视觉与模式识别
2022-11-29 v1 图形学
摘要
我们提出 3inGAN，一种从单个自相似 3D 场景的 2D 图像训练得到的无条件 3D 生成模型。此类模型可用于通过对空间潜码映射到 3D 体表示来生成给定场景的 3D“混音”，随后可使用基于物理的体积渲染从任意视角渲染。按构造，所生成场景在任意相机配置下保持视角一致，无任何闪烁或时空伪影。训练期间，我们结合通过可微体积追踪获得的 2D 损失与 3D 生成对抗网络（GAN）损失，跨多尺度施加，以在其 3D 结构与 2D 渲染上同时保证真实感。我们展示了来自真实与合成源、具有不同规模与复杂度的半随机场景上的结果。我们首次证明了从单个范例场景学习合理视角一致 3D 场景变化的可行性，并给出了与近期相关方法的定性与定量比较。
引用
@article{arxiv.2211.14902,
title = {3inGAN: Learning a 3D Generative Model from Images of a Self-similar Scene},
author = {Animesh Karnewar and Oliver Wang and Tobias Ritschel and Niloy Mitra},
journal= {arXiv preprint arXiv:2211.14902},
year = {2022}
}
备注
Conference accept at 3DV 2022