Video2StyleGAN：解耦视频中的局部与全局变化
计算机视觉与模式识别
2022-06-01 v2 图形学
摘要
使用预训练的 StyleGAN 生成器进行图像编辑已成为面部编辑的一种强大范式，提供了对年龄、表情、光照等的解耦控制。然而，该方法不能直接用于视频处理。我们假设主要缺失的要素是缺乏对面部位置、面部姿态和局部面部表情的细粒度且解耦的控制。在这项工作中，我们证明了这种细粒度控制确实可以通过使用预训练的 StyleGAN 在多个（潜在）空间（即位置空间、W+ 空间和 S 空间）中工作并组合多个空间上的优化结果来实现。在此启用组件的基础上，我们引入了 Video2StyleGAN，它接收目标图像和驱动视频，在目标图像的身份下重现驱动视频中的局部和全局位置与表情。我们在多个具有挑战性的场景下评估了我们方法的有效性，并展示了相对于替代方法的明显改进。
引用
@article{arxiv.2205.13996,
title = {Video2StyleGAN: Disentangling Local and Global Variations in a Video},
author = {Rameen Abdal and Peihao Zhu and Niloy J. Mitra and Peter Wonka},
journal= {arXiv preprint arXiv:2205.13996},
year = {2022}
}
备注
Video : https://youtu.be/oUeXFyfdE1A