神经头部化身视频驱动动画
计算机视觉与模式识别
2024-03-08 v1
摘要
我们提出了一种用于高质量神经 3D 头部模型视频驱动动画的新方法，解决了从视频输入进行独立于人物的动画的挑战。通常，高质量生成模型是从多视角视频素材中针对特定个体学习的， resulting in 驱动生成过程的特定人物潜在表示。为了实现从视频输入进行独立于人物的动画，我们引入了一种基于 LSTM 的动画网络，能够将独立于人物的表情特征转换为特定人物 3D 头部模型的个性化动画参数。我们的方法结合了个性化头部模型（高质量和逼真度）的优势与采用多人面部表演捕捉的视频驱动动画的便利性。我们在基于不同源视频合成的高质量动画以及消融研究中展示了该方法的有效性。
引用
@article{arxiv.2403.04380,
title = {Video-Driven Animation of Neural Head Avatars},
author = {Wolfgang Paier and Paul Hinzer and Anna Hilsmann and Peter Eisert},
journal= {arXiv preprint arXiv:2403.04380},
year = {2024}
}