ToonTalker：跨域人脸重演
计算机视觉与模式识别
2023-08-25 v1
摘要
本文以跨域人脸重演为目标，即用真实人物视频驱动卡通图像，反之亦然。近来，许多工作聚焦于单样本说话人脸生成以真实视频驱动肖像，即域内重演。直接将那些方法用于跨域动画会因卡通与真实人脸间的域偏移导致表情传递不准、模糊效应甚至明显伪影。仅有少数工作尝试解决跨域人脸重演。最相关的工作 AnimeCeleb 需要通过动画化 3D 角色来构建带姿态向量与卡通图像对的数据集，这使其在无可配对数据时不再适用。本文提出一种无需配对数据的跨域重演新方法。具体而言，我们提出基于 transformer 的框架，将不同域的运动对齐至一共同潜空间，在其中通过潜码相加进行运动传递。使用两个域特定运动编码器与两个可学习运动基记忆来捕获域属性。利用源查询 transformer 与驱动 transformer 将域特定运动投影至规范空间。编辑后的运动通过 transformer 投影回源所在域。此外，由于无可配对数据，我们提出一种利用两域数据与所设计的类比约束的跨域训练方案。我们还贡献了一个迪士尼风格卡通数据集。大量评估证明了我们的方法优于对比方法。
引用
@article{arxiv.2308.12866,
title = {ToonTalker: Cross-Domain Face Reenactment},
author = {Yuan Gong and Yong Zhang and Xiaodong Cun and Fei Yin and Yanbo Fan and Xuan Wang and Baoyuan Wu and Yujiu Yang},
journal= {arXiv preprint arXiv:2308.12866},
year = {2023}
}