PerformRecast：基于3DMM的人脸表情与头部姿态解耦的肖像视频编辑
计算机视觉与模式识别
2026-03-23 v1
摘要
本文主要研究基于驱动视频的人脸表情-only 肖像视频表演编辑任务，这在动画和电影行业中发挥着关键作用。大多数现有研究主要关注肖像动画，旨在根据驱动视频中的面部运动来动画化静态肖像图像。因此，他们面临的挑战是难以解耦面部表情与头部姿态旋转，缺乏独立编辑面部表情的能力。本文提出了PerformRecast，这是一种 versatile 的 expression-only 视频编辑方法，专注于在现有电影和动画作品中重新表现表演。我们方法的关键思想来自3D Morphable Face Model (3DMM)，该模型使用独立参数建模面部身份、面部表情和头部姿态。因此，我们改进了之前方法中的关键点转换公式，使其更符合3DMM模型，实现更好的解耦并为用户提供更细粒度的控制。此外，为避免生成结果中面部边界 misaligned，我们将输入肖像图像的面部与非面部区域解耦，并预训练教师模型为它们提供独立的监督。广泛的实验表明，我们的方法产生的高质量结果更忠实于驱动视频，在可控性和效率方面均优于现有方法。我们的代码、数据和训练模型均可在 https://youku-aigc.github.io/PerformRecast/ 访问。
引用
@article{arxiv.2603.19731,
title = {PerformRecast: Expression and Head Pose Disentanglement for Portrait Video Editing},
author = {Jiadong Liang and Bojun Xiong and Jie Tian and Hua Li and Xiao Long and Yong Zheng and Huan Fu},
journal= {arXiv preprint arXiv:2603.19731},
year = {2026}
}
备注
Accepted to CVPR 2026. Project Page: https://youku-aigc.github.io/PerformRecast