ControlFace：基于面部参数控制的人脸 rigging 方法

人脸图像操控以满足特定控制需求（如姿态、表情和光照）的任务，即人脸 rigging，在计算机视觉中具有复杂性。现有方法受限于依赖图像数据集， necessitating individual-specific fine-tuning and limits their ability to retain fine-grained identity and semantic details, reducing practical usability. 为克服这些限制，我们引入ControlFace，一种基于3DMM 渲染条件的新型人脸 rigging 方法，实现灵活且高保真度的控制。我们采用双分支U-Net 结构：一个称为FaceNet 的分支捕获身份信息和细节特征，另一个分支专注于生成。为增强控制精度，控制混合模块编码目标对齐控制与参考对齐控制之间的相关特征，并引入一种新颖的引导方法——参考控制引导——以更好地遵循控制要求引导生成过程。在基于人脸视频数据集进行训练后，我们充分利用FaceNet 的丰富表征，同时确保控制遵循性。大量实验表明，ControlFace 在身份保持和控制精度方面表现出优越性能，突显其实用性。请参阅项目网站：https://cvlab-kaist.github.io/ControlFace/。