UniFaceGAN：一种用于时间一致性人脸视频编辑的统一框架
计算机视觉与模式识别
2021-08-21 v1
摘要
近期研究见证了包括换脸与面部重演在内的人脸图像编辑任务的进展。然而，这些方法局限于一次处理一种特定任务。此外，对于视频人脸编辑，先前方法要么简单地逐帧应用变换，要么以拼接或迭代方式利用多帧，导致明显的视觉闪烁。本文中，我们提出一种称为 UniFaceGAN 的统一时间一致性人脸视频编辑框架。基于 3D 重建模型与一种简单而高效的动态训练样本选择机制，我们的框架被设计用于同时处理换脸与面部重演。为强化时间一致性，基于重心坐标插值引入了一种新颖的 3D 时间损失约束。此外，我们提出一种区域感知条件归一化层来替代传统的 AdaIN 或 SPADE，以合成更具上下文协调性的结果。与最先进的人脸图像编辑方法相比，我们的框架生成的视频人像更具照片真实感且时间上更平滑。
引用
@article{arxiv.2108.05650,
title = {UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing},
author = {Meng Cao and Haozhi Huang and Hao Wang and Xuan Wang and Li Shen and Sheng Wang and Linchao Bao and Zhifeng Li and Jiebo Luo},
journal= {arXiv preprint arXiv:2108.05650},
year = {2021}
}
备注
Accepted by IEEE Transactions on Image Processing (TIP). arXiv admin note: text overlap with arXiv:2007.01466