从无真实表演中无监督学习风格感知的面部动画
计算机视觉与模式识别
2023-09-06 v3 图形学
机器学习
摘要
本文提出一种基于混合形状几何、动态纹理与神经渲染的由文本/语音驱动的逼真头部模型动画新方法。训练用于几何与纹理的 VAE 可得到参数化模型，用于从潜特征向量精确捕获与逼真合成面部表情。我们的动画方法基于条件 CNN，将文本或语音转换为动画参数序列。与先前方法不同，我们的动画模型以无监督方式学习解耦/合成不同表演风格，仅需描述训练序列内容的音素标签。为实现逼真实时渲染，我们训练一个 U-Net，通过计算得到改进的像素颜色与前景遮罩来精炼基于光栅化的渲染。我们在定性/定量上与近期头部建模及面部动画方法进行比较，并在用户研究中评估感知渲染/动画质量，结果表明相比 SOTA 方法有较大提升。
引用
@article{arxiv.2306.10006,
title = {Unsupervised Learning of Style-Aware Facial Animation from Real Acting Performances},
author = {Wolfgang Paier and Anna Hilsmann and Peter Eisert},
journal= {arXiv preprint arXiv:2306.10006},
year = {2023}
}
备注
16 pages, submitted to Graphical Models (Feb 2023)