RIGID：真实人脸视频的循环GAN反演与编辑
计算机视觉与模式识别
2023-08-16 v2
摘要
GAN反演是将GAN强大的可编辑性应用于真实图像所不可或缺的。然而，现有方法通常逐帧反演视频，常导致随时间出现不期望的不一致结果。本文中，我们提出一个名为\textbf{R}ecurrent v\textbf{I}deo \textbf{G}AN \textbf{I}nversion and e\textbf{D}iting（RIGID，循环视频GAN反演与编辑）的统一循环框架，以显式且同时地强制真实视频的时间一致GAN反演与面部编辑。我们的方法从三个方面建模当前帧与先前帧之间的时间关系。为实现忠实的真实视频重建，我们首先通过学习时间补偿潜码来最大化反演保真度与一致性。其次，我们观察到不一致噪声位于高频域，可与潜空间解耦。第三，为消除属性操控后的不一致性，我们提出一种\textit{帧间组合约束}，使得任意帧必须为其相邻帧的直接组合。我们的统一框架以端到端方式学习输入帧之间的内在一致性，因此它与特定属性无关，可应用于同一视频的任意编辑而无需重新训练。大量实验表明，RIGID在反演与编辑任务上定性与定量均优于最先进的方法。相关成果见\url{https://cnnlstm.github.io/RIGID}。
引用
@article{arxiv.2308.06097,
title = {RIGID: Recurrent GAN Inversion and Editing of Real Face Videos},
author = {Yangyang Xu and Shengfeng He and Kwan-Yee K. Wong and Ping Luo},
journal= {arXiv preprint arXiv:2308.06097},
year = {2023}
}
备注
ICCV2023