基于逆图形的三维感知场景操控
计算机视觉与模式识别
2018-12-19 v4 图形学
图像与视频处理
摘要
我们旨在获得一种可解释、具表达力且解耦的场景表示，其中包含每个物体的完整结构与纹理信息。以往由神经网络学习的场景表示往往不可解释、局限于单一物体，或缺乏三维知识。在本工作中，我们提出三维场景反渲染网络（3D-SDN），通过将语义、几何与外观的解耦表示整合进深度生成模型来解决上述问题。我们的场景编码器执行逆图形（inverse graphics），将场景翻译为结构化的逐物体表示。我们的解码器包含两个组件：一个可微形状渲染器与一个神经纹理生成器。语义、几何与外观的解耦支持了三维感知的场景操控，例如自由旋转和移动物体同时保持一致的形状与纹理，以及在不影响其形状的前提下改变物体外观。实验表明，我们基于3D-SDN的编辑方案优于其二维对应方案。
引用
@article{arxiv.1808.09351,
title = {3D-Aware Scene Manipulation via Inverse Graphics},
author = {Shunyu Yao and Tzu Ming Harry Hsu and Jun-Yan Zhu and Jiajun Wu and Antonio Torralba and William T. Freeman and Joshua B. Tenenbaum},
journal= {arXiv preprint arXiv:1808.09351},
year = {2018}
}
备注
NeurIPS 2018. Code: https://github.com/ysymyth/3D-SDN Website: http://3dsdn.csail.mit.edu/