中文

由表情和风格驱动的隐式物理人脸模型

计算机视觉与模式识别 2024-01-30 v1 图形学

摘要

3D 面部动画通常通过操控面部形变模型(或绑定)来生成,这些模型传统上由表情控制参数化。一个通常被忽视的关键组成部分是表情的“风格”,即特定表情的表演方式。尽管定义角色可以执行的表情的语义基础很常见,但大多数角色都以自己的风格执行每种表情。迄今为止,风格通常与表情纠缠在一起,在考虑面部动画时无法将一个角色的风格转移到另一个角色。我们提出了一种新的面部模型,基于数据驱动的隐式神经物理模型,该模型可以分别由表情和风格驱动。核心是,我们提出了一个框架,用于同时学习多个对象的基于隐式物理的驱动,该框架使用来自少量身份的几个任意表演捕捉序列进行训练。一旦训练完成,我们的方法允许为任何训练过的身份生成基于物理的通用面部动画,并可扩展到未见过的表演。此外,它允许控制动画风格,实现从一个角色到另一个角色的风格转移或混合不同角色的风格。最后,作为一个基于物理的模型,它能够合成物理效果,例如碰撞处理,这使我们的方法有别于传统方法。

关键词

引用

@article{arxiv.2401.15414,
  title  = {An Implicit Physical Face Model Driven by Expression and Style},
  author = {Lingchen Yang and Gaspard Zoss and Prashanth Chandran and Paulo Gotardo and Markus Gross and Barbara Solenthaler and Eftychios Sifakis and Derek Bradley},
  journal= {arXiv preprint arXiv:2401.15414},
  year   = {2024}
}

备注

Accepted to SIGGRAPH ASIA 2023. Project page: https://studios.disneyresearch.com/2023/11/29/an-implicit-physical-face-model-driven-by-expression-and-style/ Video: https://www.youtube.com/watch?v=-qM_XUv-JhA&t