用于拓扑变化物体解耦图像生成的生成式可变形辐射场
计算机视觉与模式识别
2022-09-12 v1
摘要
3D 感知生成模型已展现出从单目 2D 图像集合生成 3D 神经辐射场(NeRF)的卓越性能,即便对于拓扑变化的物体类别亦然。然而,这些方法仍缺乏分别控制所生成辐射场中物体形状与外观的能力。本文中,我们提出一种生成式模型,用于合成具有解耦形状与外观变化的拓扑变化物体的辐射场。我们的方法生成可变形辐射场,其在物体密度场间建立稠密对应,并将外观编码于共享模板场中。我们的解耦以无监督方式实现,无需向先前的 3D 感知 GAN 训练引入额外标签。我们还开发了有效的图像反演方案,用于重建真实单目图像中物体的辐射场并操控其形状与外观。实验表明,我们的方法能从未结构化单目图像成功学习生成模型,并良好解耦具有较大拓扑差异的物体(如椅子)的形状与外观。在合成数据上训练的模型能忠实重建给定单幅图像中的真实物体,并取得高质量的纹理与形状编辑结果。
引用
@article{arxiv.2209.04183,
title = {Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects},
author = {Ziyu Wang and Yu Deng and Jiaolong Yang and Jingyi Yu and Xin Tong},
journal= {arXiv preprint arXiv:2209.04183},
year = {2022}
}
备注
Accepted at Pacific Graphics 2022 & COMPUTER GRAPHICS Forum, Project Page: https://ziyuwang98.github.io/GDRF/