SEREP：面向野外捕捉与重新映射的语义面部表情表示
计算机视觉与模式识别
2025-07-14 v3 图形学
机器学习
摘要
单摄像头面部表演捕捉面临捕捉条件、面部形状和表情多样性等挑战。目前大多数方法依赖线性3D形状可迹模型，无法在顶点位移层面将表情与身份分离。我们提出SEREP（语义表情表示），在语义层面实现表情与身份的解耦。首先，我们从高质量无配对面部表情3D数据中学习表情表示。随后，我们基于单目图像预测表情，采用新颖的半监督方案结合低质量合成数据进行训练。此外，我们引入MultiREX基准，解决表情捕捉任务缺乏评估资源的瓶颈。实验表明，SEREP优于当前最先进方法，能够捕捉挑战性表情并将其成功迁移至新身份。
引用
@article{arxiv.2412.14371,
title = {SEREP: Semantic Facial Expression Representation for Robust In-the-Wild Capture and Retargeting},
author = {Arthur Josi and Luiz Gustavo Hafemann and Abdallah Dib and Emeline Got and Rafael M. O. Cruz and Marc-Andre Carbonneau},
journal= {arXiv preprint arXiv:2412.14371},
year = {2025}
}
备注
For our project page, see https://ubisoft-laforge.github.io/character/serep/