深度从模板重建：基于单幅图像的宽基线、稠密且快速的配准与可形变重建
计算机视觉与模式识别
2021-03-02 v3 人工智能
图形学
机器学习
软件工程
摘要
我们提出 Deep Shape-from-Template (DeepSfT)，一种新颖的深度神经网络 (DNN) 方法，用于解决单目单幅图像中可形变物体的实时自动配准与三维重建。DeepSfT 在多个方面推进了当前最优水平。与现有的 DNN SfT 方法相比，它是首个处理任意物体几何、拓扑与表面表示的完全卷积实时方法。它也不需要真实数据的配准真值，并且能很好地扩展到具有大量图元的极复杂物体模型。与以往非 DNN 的 SfT 方法相比，它在运行时不涉及数值优化，并且是一种稠密、宽基线的解决方案，不要求也不受基于特征匹配的影响。它能够处理具有显著形变与视角变化的单幅图像，并很好地应对遮挡、弱纹理与模糊等核心挑战。DeepSfT 基于残差编码器-解码器结构与细化模块。它通过一种新颖的组合进行端到端训练：来自物体模型模拟渲染的有监督学习，以及使用标准 RGB-D 相机捕获的真实数据的半监督自动微调。用于微调和运行的相机可以不同，使 DeepSfT 在实际使用中切实可行。我们表明，对于非平凡模板，DeepSfT 在定量与定性评估上显著优于当前最优的宽基线方法。
引用
@article{arxiv.1811.07791,
title = {Deep Shape-from-Template: Wide-Baseline, Dense and Fast Registration and Deformable Reconstruction from a Single Image},
author = {David Fuentes-Jimenez and David Casillas-Perez and Daniel Pizarro and Toby Collins and Adrien Bartoli},
journal= {arXiv preprint arXiv:1811.07791},
year = {2021}
}