从运动中学习关节化类别的单目三维重建
计算机视觉与模式识别
2021-04-28 v2 图形学
机器学习
摘要
由于训练数据的缺乏以及问题固有的不适定性，关节化物体类别的单目三维重建具有挑战性。在本工作中，我们利用视频自监督，通过基于运动的循环损失强制连续三维重建的一致性。这在很大程度上改进了基于优化和基于学习的三维网格重建。我们进一步引入一种可解释的三维模板形变模型，其通过少量局部可学习控制点的位移来控制三维表面。我们将该操作表述为依赖于网格拉普拉斯正则化的结构化层，并展示其可以端到端方式训练。我们最后引入一种逐样本数值优化方法，在视频内联合优化网格位移与相机，提升训练准确性并可作为测试时后处理。在仅依赖每类别收集的一小组视频作为监督的情况下，我们针对多个关节化物体类别获得了具有多样形状、视角与纹理的state-of-the-art重建结果。
引用
@article{arxiv.2103.16352,
title = {Learning monocular 3D reconstruction of articulated categories from motion},
author = {Filippos Kokkinos and Iasonas Kokkinos},
journal= {arXiv preprint arXiv:2103.16352},
year = {2021}
}
备注
Accepted to CVPR2021. For project website see https://fkokkinos.github.io/video_3d_reconstruction/