GaussiGAN：基于无位姿轮廓的3D高斯可控图像合成
计算机视觉与模式识别
2021-06-25 v1
摘要
我们提出一种算法，从无位姿的多视角 2D 掩码监督中学习物体的粗粒度 3D 表示，然后利用该表示生成详细的掩码和图像纹理。与现有的基于体素的无位姿物体重建方法不同，我们的方法通过学习使用透视相机和一组逐图像变换，以一组自监督的规范 3D 各向异性高斯来表示生成的形状和位姿。我们表明，该方法能够鲁棒地估计相机和物体的 3D 空间，而近期基线方法有时难以在此设定下重建一致的 3D 空间。我们在具有真实光照的合成数据集上展示了结果，并演示了带交互式位姿调整的物体插入。通过我们的工作，我们助力推进结构化表示，以处理基于学习的物体重建中更多真实世界的变化。
引用
@article{arxiv.2106.13215,
title = {GaussiGAN: Controllable Image Synthesis with 3D Gaussians from Unposed Silhouettes},
author = {Youssef A. Mejjati and Isa Milefchik and Aaron Gokaslan and Oliver Wang and Kwang In Kim and James Tompkin},
journal= {arXiv preprint arXiv:2106.13215},
year = {2021}
}