使用时空平滑形变的视频人脸编辑

视频中的人脸编辑是计算机视觉和图形学中一个流行但具有挑战性的方面，涵盖了面部吸引力增强、妆容迁移、人脸替换和表情操纵等多种应用。简单地将基于图像的形变算法应用于视频人脸编辑会导致合成视频中出现时间不连贯，因为不可能在代表两个不同视频中两个不同人脸的两帧（甚至代表同一视频中同一人脸的两个连续帧）中一致地定位面部特征。因此，高性能的人脸编辑通常需要大量的人工操作。在本文中，我们提出了一种新颖的时空平滑形变（TSSW）算法，以有效利用两个连续帧中的时间信息以及每一帧内的空间平滑性。TSSW 通过最小化一个统一了数据驱动项、平滑项和特征点约束的新颖能量函数，分别从前一帧的对应控制晶格中精确估计水平和垂直方向上的两个控制晶格。相应的形变曲面随后将源帧精确映射到目标帧。在面部吸引力增强、妆容迁移、人脸替换和表情操纵上的实验测试表明，所提出的方法能有效保持面部几何、皮肤细节、身份和表情编辑中的空间平滑性和时间连贯性，优于现有的人脸编辑方法。特别是，TSSW 对特征点的细微不准确定位具有鲁棒性，并且是对基于图像的形变方法的巨大改进。