HeadRecon：基于单目视频的高保真三维头部重建
计算机视觉与模式识别
2023-12-15 v1
摘要
近年来，基于静态肖像图像的高保真三维头部模型重建取得了巨大进展。然而，大多数方法需要多视图或多光照信息，因此对数据采集提出了较高要求。本文研究从任意单目视频重建高保真三维头部模型。非刚性运动恢复结构（NRSFM）方法已被广泛用于根据不同帧之间的二维对应关系来解决此类问题。然而，由高复杂度头发结构和各种面部表情变化引起的不准确对应关系会严重影响重建精度。为了解决这些问题，我们提出了一种先验引导的动态隐式神经网络。具体而言，我们设计了一个由两部分组成的动态变形场，将当前帧空间转换到规范空间。我们进一步在规范空间中使用可学习的符号距离场（SDF）对头部几何结构进行建模，并在两个主要头部先验的指导下通过体渲染对其进行优化，以提高重建精度和鲁棒性。大量的消融实验以及与 SOTA 方法的比较证明了我们所提方法的有效性和鲁棒性。
引用
@article{arxiv.2312.08863,
title = {HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video},
author = {Xueying Wang and Juyong Zhang},
journal= {arXiv preprint arXiv:2312.08863},
year = {2023}
}