LatentAvatar：面向可表达神经头部替身的潜在表情码学习
计算机视觉与模式识别
2023-05-04 v2
摘要
现有基于可动画 NeRF 的头部替身方法要么构建于人脸模板之上，要么使用模板的表情系数作为驱动信号。尽管取得了可喜进展，其性能仍严重受限于模板的表情表达能力与跟踪精度。本文提出 LatentAvatar，一种由潜在表情码驱动的可表达神经头部替身。此类潜在表情码以端到端、自监督方式学习，无需模板，使我们的方法摆脱表情与跟踪问题。为此，我们利用潜在头部 NeRF 从单目人像视频中学习特定人物的潜在表情码，并进一步设计 Y 形网络以学习不同主体的共享潜在表情码，用于跨身份重演。通过在 NeRF 中优化光度重建目标，潜在表情码被学习为具有 3D 感知，同时忠实捕捉高频细节表情。此外，通过学习共享与特定人物设定下学习的潜在表情码之间的映射，LatentAvatar 能够在不同主体间进行可表达重演。实验结果表明，我们的 LatentAvatar 能捕捉具挑战性的表情以及牙齿甚至眼球的细微运动，在定量与定性比较中均优于先前最先进的方案。项目主页：https://www.liuyebin.com/latentavatar。
引用
@article{arxiv.2305.01190,
title = {LatentAvatar: Learning Latent Expression Code for Expressive Neural Head Avatar},
author = {Yuelang Xu and Hongwen Zhang and Lizhen Wang and Xiaochen Zhao and Han Huang and Guojun Qi and Yebin Liu},
journal= {arXiv preprint arXiv:2305.01190},
year = {2023}
}
备注
Accepted by SIGGRAPH 2023