3D 感知的条件图像合成
计算机视觉与模式识别
2023-05-02 v2 图形学
机器学习
摘要
我们提出 pix2pix3D，一种用于可控逼真图像合成的 3D 感知条件生成模型。给定 2D 标签图（如分割图或边缘图），我们的模型学习从不同视角合成相应图像。为实现显式 3D 用户控制，我们用神经辐射场扩展了条件生成模型。给定广泛可用的单目图像与标签图对，我们的模型学习为除颜色和密度外的每个 3D 点分配一个标签，使其能同时渲染图像和像素对齐的标签图。最后，我们构建了一个交互式系统，允许用户从任意视角编辑标签图并相应生成输出。
引用
@article{arxiv.2302.08509,
title = {3D-aware Conditional Image Synthesis},
author = {Kangle Deng and Gengshan Yang and Deva Ramanan and Jun-Yan Zhu},
journal= {arXiv preprint arXiv:2302.08509},
year = {2023}
}
备注
Project Page: https://www.cs.cmu.edu/~pix2pix3D/