可变形模型驱动神经渲染用于低视角设置下高保真三维人头重建
计算机视觉与模式识别
2023-08-21 v2
摘要
在低视角设置下重建三维人头存在技术挑战，主要源于有限视角和高频信号导致的严重过拟合风险。为此，我们提出几何分解并采用由粗到精的两阶段训练策略，以逐步捕获高频几何细节。我们使用组合符号距离场的零水平集表示三维人头，该符号距离场包含平滑模板、非刚性形变和高频位移场。模板捕获独立于身份与表情的特征，并与形变网络在多个具有稀疏随机视角的个体间联合训练。捕获个体特定细节的位移场则对每人单独训练。我们的网络训练无需三维监督或物体掩码。实验结果表明我们的几何分解与两阶段训练策略的有效性和鲁棒性。在低视角设置下，我们的方法在重建精度和新视角合成方面优于现有神经渲染方法。此外，预训练模板为我们模型遇到未见个体时提供了良好的初始化。
引用
@article{arxiv.2303.13855,
title = {Deformable Model-Driven Neural Rendering for High-Fidelity 3D Reconstruction of Human Heads Under Low-View Settings},
author = {Baixin Xu and Jiarui Zhang and Kwan-Yee Lin and Chen Qian and Ying He},
journal= {arXiv preprint arXiv:2303.13855},
year = {2023}
}
备注
Accepted by ICCV2023. Visit our project page at https://github.com/xubaixinxbx/3dheads