Face2Face：RGB 视频的实时人脸捕捉与重演
计算机视觉与模式识别
2020-07-30 v1
摘要
我们提出 Face2Face，一种针对单目目标视频序列（例如 Youtube 视频）进行实时面部重演的新方法。源序列同样为单目视频流，由普通网络摄像头实时采集。我们的目标是由源演员驱动目标视频的面部表情，并以照片级真实感重新渲染被操控的输出视频。为此，我们首先通过基于非刚性模型的分束法，解决从单目视频恢复面部身份这一欠约束问题。在运行时，我们利用稠密光度一致性度量跟踪源视频与目标视频的面部表情。随后通过源与目标之间快速高效的形变传递实现重演。从目标序列中检索与重定向表情最匹配的口腔内部，并进行扭曲以产生精确贴合。最后，我们将合成的目标人脸令人信服地重新渲染在相应视频流之上，使其与现实世界光照无缝融合。我们在实时设置中演示了该方法，其中 Youtube 视频被实时重演。
引用
@article{arxiv.2007.14808,
title = {Face2Face: Real-time Face Capture and Reenactment of RGB Videos},
author = {Justus Thies and Michael Zollhöfer and Marc Stamminger and Christian Theobalt and Matthias Nießner},
journal= {arXiv preprint arXiv:2007.14808},
year = {2020}
}
备注
https://justusthies.github.io/posts/acm-research-highlight/