用于三维表面感知图像生成的生成式占据场
计算机视觉与模式识别
2021-11-02 v1 人工智能
摘要
生成式辐射场的出现显著推动了三维感知图像合成的发展。辐射场中的累积渲染过程使这些生成式模型的训练更为容易，因为梯度分布于整个体素，但导致了物体表面扩散。同时，与辐射场相比，占据表示本质上可确保确定性表面。然而，若直接将占据表示应用于生成模型，训练时它们仅能接收位于物体表面的稀疏梯度，最终遭遇收敛问题。本文中，我们提出生成式占据场（GOF），一种基于生成式辐射场的新模型，能够学习紧凑物体表面而不阻碍训练收敛。GOF 的核心洞见是从辐射场中的累积渲染到仅以表面点渲染的专门过渡，随着学习到的表面愈发精确。由此，GOF 在统一框架中结合了两种表示的优点。实践中，GOF 中从辐射场出发并推进至占据表示的训练时过渡，是通过在其渲染过程中将采样区域从整个体素逐渐收缩至表面周围极小邻域来实现的。通过在多个数据集上的综合实验，我们证明 GOF 能合成具有三维一致性的高质量图像，同时学习紧凑且平滑的物体表面。代码、模型与演示视频可在 https://sheldontsui.github.io/projects/GOF 获取。
引用
@article{arxiv.2111.00969,
title = {Generative Occupancy Fields for 3D Surface-Aware Image Synthesis},
author = {Xudong Xu and Xingang Pan and Dahua Lin and Bo Dai},
journal= {arXiv preprint arXiv:2111.00969},
year = {2021}
}
备注
Accepted to NeurIPS2021. We propose Generative Occupancy Fields(GOF), a 3D-aware generative model which could synthesize realistic images with 3D consistency and simultaneously learn compact object surfaces