ToonifyGB：基于 StyleGAN 的高斯混合形状用于 3D 风格化头部头像

3D 高斯混合形状的引入使从单目视频中重建可动画头部头像成为实时可能。Toonify，这一基于 StyleGAN 的方法，已广泛用于面部图像风格化。为扩展 Toonify 以使用高斯混合形状合成多样化的 3D 头部头像，我们提出了一种高效的两阶段框架 ToonifyGB。在阶段 1（风格化视频生成）中，我们采用改进的 StyleGAN 从输入视频帧生成风格化视频，这克服了正常 StyleGAN 预处理中对裁剪对齐人脸并固定分辨率的限制。这一过程提供了更稳定的风格化视频，使高斯混合形状能够更好地捕获视频帧的高频细节，促进下一阶段的高质量动画合成。在阶段 2（高斯混合形状合成）中，我们的方法从生成的风格化视频中学习一个风格化中性头部模型和一组表情混合形状。通过将中性头部模型与表情混合形状组合，ToonifyGB 可以高效渲染任意表情的风格化头像。我们在基准数据集上验证了 ToonifyGB 的有效性，使用两个具代表性的风格：Arcane 和 Pixar。