由单一视频实现多样化生成成为可能
计算机视觉与模式识别
2021-12-07 v2
摘要
GAN能够在单一视频上训练，执行生成与操控任务。然而，这些单视频GAN需要在单个视频上训练不合理长的时间，使其几乎不实用。本文质疑用于单视频生成的GAN的必要性，并为多种生成与操控任务引入一个非参数基线。我们复兴经典的时空块最近邻方法，并将其适配为一个可扩展的无条件生成模型，无任何学习过程。这一简单基线出人意料地在视觉质量与真实感上优于单视频GAN（经定量与定性评估确认），且速度快得不成比例（运行时间从数天缩减至数秒）。除多样化视频生成外，我们利用同一框架展示了其他应用，包括视频类比与时空重定向。我们提出的方法可轻松扩展至全高清（Full-HD）视频。这些观察表明，若适配得当，经典方法显著优于繁重的深度学习机器用于这些任务。这为单视频生成与操控任务设立了新基线，且同样重要地——首次使由单一视频进行多样化生成在实践中成为可能。
引用
@article{arxiv.2109.08591,
title = {Diverse Generation from a Single Video Made Possible},
author = {Niv Haim and Ben Feinstein and Niv Granot and Assaf Shocher and Shai Bagon and Tali Dekel and Michal Irani},
journal= {arXiv preprint arXiv:2109.08591},
year = {2021}
}