从奇点把握时间之箭：解码StyleGAN低维潜在空间中的微运动

StyleGAN潜在空间的解耦为逼真且可控的图像编辑铺平了道路，但StyleGAN仅基于静态图像训练，它是否了解时间运动？为研究StyleGAN潜在空间中的运动特征，本文我们提出并证明了一系列有意义、自然且多样的小尺度局部运动（称为“微运动”，如表情、头部运动和衰老效应）可以在从传统预训练的StyleGAN-v2人脸生成模型的潜在空间中提取的低秩空间内表示，并以短文本或视频片段形式的适当“锚点”为指导。从一张目标人脸图像开始，利用从低秩空间解码的编辑方向，其微运动特征可以简单地表示为其潜在特征上的仿射变换。也许更令人惊讶的是，这种微运动子空间，即使仅从单个目标人脸学习，也可以轻松地迁移到其他未见过的面部图像，甚至是来自截然不同领域（如油画、卡通和雕塑人脸）的图像。这表明，对应于一种微运动的局部特征几何在不同人脸主体之间是对齐的，因此StyleGAN-v2确实“秘密地”感知到了由该微运动引起的、与主体解耦的特征变化。我们展示了应用我们的低维微运动子空间技术直接且轻松地操控人脸的各种成功案例，展现了高鲁棒性、低计算开销和令人印象深刻的领域可迁移性。我们的代码可在 https://github.com/wuqiuche/micromotion-StyleGAN 获取。