基于可控局部形变场的隐式神经头部合成
计算机视觉与模式识别
2023-04-24 v1
摘要
从 2D 视频高质量重建可控 3D 头部虚拟形象对于电影、游戏和远程呈现中的虚拟人类应用极具价值。神经隐式场提供了一种强大的表征来建模具有个性化形状、表情和面部部件（如头发与口腔内部）的 3D 头部虚拟形象，超越了线性 3D 可形变模型（3DMM）。然而，现有方法无法建模具有精细面部特征的面孔，或无法从单目视频外推非对称表情的面部部件局部控制。此外，多数方法仅以局部性较差的 3DMM 参数为条件，并用全局神经场解析局部特征。我们基于将全局形变场分解为局部形变场的部件化隐式形状模型构建方法。我们的新颖公式通过基于 3DMM 的参数与代表性面部标志点，以类语义绑定的局部控制建模多个隐式形变场。进一步，我们提出局部控制损失与注意力掩码机制，以促进各所学形变场的稀疏性。我们的公式比先前隐式单目方法渲染出更锐利的局部可控非线性形变，尤其是口腔内部、非对称表情与面部细节。
引用
@article{arxiv.2304.11113,
title = {Implicit Neural Head Synthesis via Controllable Local Deformation Fields},
author = {Chuhan Chen and Matthew O'Toole and Gaurav Bharaj and Pablo Garrido},
journal= {arXiv preprint arXiv:2304.11113},
year = {2023}
}
备注
Accepted at CVPR 2023