RayNet：利用射线势能学习体积三维重建
计算机视觉与模式识别
2019-01-08 v1
摘要
在本文中，我们考虑利用不同视角捕获的图像重建稠密三维模型的问题。近期基于卷积神经网络（CNN）的方法允许从数据中学习整个任务。然而，它们未纳入透视几何与遮挡等图像形成的物理机制。相反，基于带射线势能的马尔可夫随机场（MRF）的经典方法显式建模了这些物理过程，却无法应对不同视角间巨大的表面外观变化。本文中我们提出 RayNet，它结合了两类框架的优势。RayNet 将学习视角不变特征表示的 CNN 与显式编码透视投影和遮挡物理过程的 MRF 相整合。我们使用经验风险最小化对 RayNet 进行端到端训练。我们在具挑战性的真实世界数据集上对我们的方法进行了充分评估，并展示了其相对于分段训练基线、手工模型以及其他基于学习的方法的优势。
引用
@article{arxiv.1901.01535,
title = {RayNet: Learning Volumetric 3D Reconstruction with Ray Potentials},
author = {Despoina Paschalidou and Ali Osman Ulusoy and Carolin Schmitt and Luc van Gool and Andreas Geiger},
journal= {arXiv preprint arXiv:1901.01535},
year = {2019}
}
备注
Accepted to CVPR 2018 as spotlight. Project url with code: http://raynet-mvs.com/