Pix2Vex：使用平滑可微渲染器的图像到几何重建
计算机视觉与模式识别
2019-05-28 v2 机器学习
摘要
从图像重建三维几何这一长期渴求的任务仍是一个未决问题。在本文中，我们利用神经网络的强大能力，提出 Pix2Vex，一种训练用于将相机捕获的图像转换为三维几何的网络。我们提出一种新颖的可微渲染器（）作为训练期间的向前验证手段。我们的关键见解是， 生成具有特定外观的图像，不同于典型的输入图像。因此，我们提议添加一个图像到图像的翻译组件，在这些渲染风格之间进行转换。该翻译闭合了训练回路，同时允许仅使用最小监督，无需任何三维模型作为真值。与最先进的方法不同，我们的 是 平滑的，因此在遮挡或解除遮挡处不显示任何不连续性。通过我们新颖的训练方案，我们的网络可以在不同类型的图像上训练，而先前的工作通常只能在外观与 所渲染图像相似的那些图像上训练。
引用
@article{arxiv.1903.11149,
title = {Pix2Vex: Image-to-Geometry Reconstruction using a Smooth Differentiable Renderer},
author = {Felix Petersen and Amit H. Bermano and Oliver Deussen and Daniel Cohen-Or},
journal= {arXiv preprint arXiv:1903.11149},
year = {2019}
}