LPMM：通过地标参数可变形模型对神经说话头模型进行直观姿态控制
计算机视觉与模式识别
2023-05-19 v1
摘要
尽管当前的说话头模型能够生成照片级真实感的说话头视频，但它们提供的姿态可控性有限。大多数方法需要确切包含所需头部姿态的特定视频序列，远非用户友好的姿态控制。三维可变形模型（3DMM）提供语义化姿态控制，但无法捕捉某些表情。我们提出了一种新方法，利用对预训练神经说话头模型的头部朝向与面部表情的参数化控制。为此，我们引入了地标参数可变形模型（LPMM），它通过一组语义参数提供对面部的地标域的控制。使用 LPMM，可以在不扭曲其他面部属性的情况下调整特定头部姿态因素。结果表明，我们的方法对神经说话头模型提供了类似绑定的直观控制，支持参数与基于图像的输入。
引用
@article{arxiv.2305.10456,
title = {LPMM: Intuitive Pose Control for Neural Talking-Head Model via Landmark-Parameter Morphable Model},
author = {Kwangho Lee and Patrick Kwon and Myung Ki Lee and Namhyuk Ahn and Junsoo Lee},
journal= {arXiv preprint arXiv:2305.10456},
year = {2023}
}