Perspective Transformer Nets：无三维监督下的单视图三维物体重建
计算机视觉与模式识别
2017-08-15 v3 图形学
机器学习
摘要
理解三维世界是计算机视觉中的一个基本问题。然而，由于数据的高维性以及所涉及的许多变化因素，学习三维物体的良好表示仍然是一个开放问题。在本工作中，我们从学习智能体的角度研究了单视图三维物体重建任务。我们将学习过程表述为三维与二维表示之间的交互，并提出了一种带有由透视变换定义的新型投影损失的编码器-解码器网络。更重要的是，该投影损失使得利用二维观测且无显式三维监督的无监督学习成为可能。我们通过三组实验展示了该模型从单张二维图像生成三维体积的能力：(1) 从单类物体学习；(2) 从多类物体学习；(3) 在新颖物体类别上测试。结果表明，当引入投影损失时，三维物体重建具有更优的性能和更好的泛化能力。
引用
@article{arxiv.1612.00814,
title = {Perspective Transformer Nets: Learning Single-View 3D Object Reconstruction without 3D Supervision},
author = {Xinchen Yan and Jimei Yang and Ersin Yumer and Yijie Guo and Honglak Lee},
journal= {arXiv preprint arXiv:1612.00814},
year = {2017}
}
备注
published at NIPS 2016