用于无监督视频分解的可变形精灵
计算机视觉与模式识别
2022-04-15 v1
摘要
我们描述了一种从输入视频中提取动态场景持久元素的方法。我们将每个场景元素表示为一个“可变形精灵”（Deformable Sprite），由三部分组成：1）整段视频的 2D 纹理图像，2）该元素逐帧的掩码，以及 3）将纹理图像映射到各视频帧的非刚性形变。所得的分解可用于一致视频编辑等应用。可变形精灵是一种在单个视频上优化的视频自编码器模型，不需要在大型数据集上训练，也不依赖预训练模型。此外，我们的方法不需要目标掩码或其他用户输入，并能发现比先前工作种类更广的运动物体。我们在标准视频数据集上评估了我们的方法，并在多样的互联网视频上展示了定性结果。代码与视频结果可在 https://deformable-sprites.github.io 获取。
引用
@article{arxiv.2204.07151,
title = {Deformable Sprites for Unsupervised Video Decomposition},
author = {Vickie Ye and Zhengqi Li and Richard Tucker and Angjoo Kanazawa and Noah Snavely},
journal= {arXiv preprint arXiv:2204.07151},
year = {2022}
}
备注
CVPR 2022 Oral. Project Site: https://deformable-sprites.github.io