图像GAN遇见可微渲染：逆图形学与可解释3D神经渲染
计算机视觉与模式识别
2021-04-22 v2 机器学习
摘要
可微渲染为训练神经网络执行“逆图形学”任务（如从单目照片预测 3D 几何）铺平了道路。为训练高性能模型，当前多数方法依赖于多视图图像，而后者在实践中并不易获取。相比之下，近期合成图像的生成对抗网络（GANs）似乎在训练过程中隐式习得了 3D 知识：仅需操控潜码即可改变物体视角。然而，这些潜码往往缺乏进一步的物理解释，因而 GANs 不易被反演以执行显式 3D 推理。本文旨在利用可微渲染器提取并解耦生成模型所学的 3D 知识。我们方法的关键在于：将 GANs 用作多视图数据生成器，借助现成可微渲染器训练逆图形学网络，并将训练好的逆图形学网络作为教师，将 GAN 的潜码解耦为可解释的 3D 属性。整个架构使用循环一致性损失进行迭代训练。我们表明，无论在定量还是用户研究中，我们的方法都显著优于在现有数据集上训练的最优逆图形学网络。我们进一步将解耦后的 GAN 展示为一个可控的 3D“神经渲染器”，作为对传统图形渲染器的补充。
引用
@article{arxiv.2010.09125,
title = {Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering},
author = {Yuxuan Zhang and Wenzheng Chen and Huan Ling and Jun Gao and Yinan Zhang and Antonio Torralba and Sanja Fidler},
journal= {arXiv preprint arXiv:2010.09125},
year = {2021}
}
备注
Accepted to ICLR 2021 as an Oral paper