VidStyleODE：基于 StyleGAN 与神经 ODE 的解耦视频编辑
计算机视觉与模式识别
2025-03-11 v3
摘要
我们提出 ，一种基于 GAN 与神经- 的时空连续解耦 eo 表征。对生成对抗网络（GAN）所学习潜空间的有效遍历是近期图像编辑突破的基础。然而，此类进展在视频领域的适用性受限于在 GAN 潜空间中表示与控制视频的困难。具体而言，视频由内容（即外观）与复杂运动分量构成，需要特殊机制来解耦与控制。为此，VidStyleODE 将视频内容编码至预训练 StyleGAN 的 空间，并借助潜 ODE 组件来概括输入视频的时空动态。我们新颖的连续视频生成过程随后将二者结合，以生成高质量且时间一致的变帧率视频。我们展示了所提方法在真实视频上的多种应用：文本引导外观操控、运动操控、图像动画化以及视频插值与外推。项目主页：https://cyberiada.github.io/VidStyleODE
引用
@article{arxiv.2304.06020,
title = {VidStyleODE: Disentangled Video Editing via StyleGAN and NeuralODEs},
author = {Moayed Haji Ali and Andrew Bond and Tolga Birdal and Duygu Ceylan and Levent Karacan and Erkut Erdem and Aykut Erdem},
journal= {arXiv preprint arXiv:2304.06020},
year = {2025}
}
备注
Project website: https://cyberiada.github.io/VidStyleODE