基于正面视角嵌入的高效条件人脸动画
计算机视觉与模式识别
2022-03-17 v1
摘要
随着基于 landmarks 的少样本人脸动画质量提升，新的应用成为可能，例如具有高真实度的超低带宽视频聊天压缩。然而，为了在真实世界条件下改善体验，仍有一些重要挑战需要解决。特别是，当前方法在低计算量 regime 下无法无畸变地表示侧脸视图。我们聚焦于这一关键问题，引入一种称为 Frontalizer 的多帧嵌入以改善侧脸视图渲染。除这一核心改进外，我们探索学习潜码结合 landmarks 来调节生成，以更好地传达面部表情。我们的稠密模型在包含头部运动的 DFDC 视频子集上，相较一阶模型基线在感知质量上提升 22%，landmark 误差降低 73%。采用移动架构的轻量版本在 iPhone 8 上以实时运行且极低带宽需求的同时，在两个数据集上优于先前 SOTA（感知质量提升超 16%，landmark 误差降低超 47%）。
引用
@article{arxiv.2203.08765,
title = {Efficient conditioned face animation using frontally-viewed embedding},
author = {Maxime Oquab and Daniel Haziza and Ludovic Schwartz and Tao Xu and Katayoun Zand and Rui Wang and Peirong Liu and Camille Couprie},
journal= {arXiv preprint arXiv:2203.08765},
year = {2022}
}