H3D-Net：少样本高保真三维头部重建
计算机视觉与模式识别
2021-07-28 v1 人工智能
摘要
近期，使用基于坐标的神经表示隐式表达表面几何的学习方法在多视角三维重建问题中取得了令人印象深刻的成果。然而，这些技术的有效性受制于需要大量（数十张）场景输入视图以及计算代价高昂的优化过程。本文针对少样本完整三维头部重建这一特定问题克服上述局限，通过为基于坐标的表示赋予概率形状先验，在使用少量输入图像（最少三张）时实现更快收敛与更好泛化。首先，我们利用隐式表示从数千个不完整的原始扫描中学习三维头部形状模型。在测试时，我们通过隐式可微渲染联合过拟合两个基于坐标的神经网络至该场景，其中一个建模几何，另一个估计表面辐射。我们设计了一种两阶段优化策略：在初始优化阶段，利用学到的先验初始化并约束几何；随后解冻先验并针对场景进行微调。借此，我们实现了高保真头部重建，包含头发与肩膀，且细节丰富，在少样本场景下持续优于最先进的 3D Morphable Models 方法，并在有大量视图可用时优于非参数方法。
引用
@article{arxiv.2107.12512,
title = {H3D-Net: Few-Shot High-Fidelity 3D Head Reconstruction},
author = {Eduard Ramon and Gil Triginer and Janna Escur and Albert Pumarola and Jaime Garcia and Xavier Giro-i-Nieto and Francesc Moreno-Noguer},
journal= {arXiv preprint arXiv:2107.12512},
year = {2021}
}