VideoGigaGAN:面向细节丰富的视频超分辨率
计算机视觉与模式识别
2024-05-03 v2
摘要
视频超分辨率(VSR)方法在上采样视频中展现出令人印象深刻的时序一致性。然而,由于生成能力受限,这些方法生成的结果往往比对应的图像方法更为模糊。这引出了一个基本问题:我们能否将生成式图像上采样器的成功扩展到VSR任务中,同时保持时序一致性?我们提出了VideoGigaGAN,一种新的生成式VSR模型,能够生成具有高频细节且时序一致的视频。VideoGigaGAN建立在大规模图像上采样器GigaGAN的基础之上。简单地通过添加时序模块将GigaGAN扩展为视频模型会产生严重的时序闪烁。我们识别了几个关键问题,并提出了显著提升上采样视频时序一致性的技术。我们的实验表明,与以往的VSR方法不同,VideoGigaGAN生成的视频具有时序一致性以及更细粒度的外观细节。我们通过在公开数据集上与SOTA VSR模型进行比较,并展示超分辨率的视频结果,验证了VideoGigaGAN的有效性。
引用
@article{arxiv.2404.12388,
title = {VideoGigaGAN: Towards Detail-rich Video Super-Resolution},
author = {Yiran Xu and Taesung Park and Richard Zhang and Yang Zhou and Eli Shechtman and Feng Liu and Jia-Bin Huang and Difan Liu},
journal= {arXiv preprint arXiv:2404.12388},
year = {2024}
}
备注
project page: https://videogigagan.github.io/