一种用于无监督实时视频增强的高效循环对抗框架
图像与视频处理
2022-12-13 v2 计算机视觉与模式识别
摘要
视频增强是一个具有挑战性的问题，比静态图像增强更甚，主要由于高计算成本、更大数据量以及难以在时空域中实现一致性。实践中，这些挑战常与非成对样本匮乏相耦合，阻碍了监督学习策略的应用。为应对这些挑战，我们提出一种高效的对抗视频增强框架，直接从非成对视频样本中学习。具体而言，我们的框架引入了由交错局部与全局模块组成的新循环单元，用于空间与时间信息的隐式整合。所提出的设计使我们的循环单元能够跨帧高效传播时空信息，并降低对高复杂度网络的需求。我们的设定支持以循环对抗方式从非成对视频中学习，其中所提出的循环单元被用于所有架构中。高效训练通过引入单个判别器实现，该判别器同时学习源域与目标域的联合分布。增强结果表明，所提出的视频增强器在视觉质量、定量指标和推理速度所有方面均明显优于最先进（SOTA）方法。值得注意的是，我们的视频增强器能够每秒增强超过 35 帧 FullHD 视频（1080x1920）。
引用
@article{arxiv.2012.13033,
title = {An Efficient Recurrent Adversarial Framework for Unsupervised Real-Time Video Enhancement},
author = {Dario Fuoli and Zhiwu Huang and Danda Pani Paudel and Luc Van Gool and Radu Timofte},
journal= {arXiv preprint arXiv:2012.13033},
year = {2022}
}