基于深度学习的4K视频实时超分辨率系统
计算机视觉与模式识别
2021-07-15 v2 人工智能
图像与视频处理
摘要
视频超分辨率(VSR)技术在重建低质量视频方面表现出色，避免了基于插值的算法所引起的令人不快的模糊效应。然而，巨大的计算复杂度和内存占用阻碍了其在现实应用中的可部署性边缘和运行时推理，尤其是对于大规模 VSR 任务。本文探讨了实时 VSR 系统的可能性，并设计了一个高效且通用的 VSR 网络，称为 EGVSR。所提出的 EGVSR 基于时空对抗学习以保证时间相干性。为了追求高达 4K 分辨率的更快 VSR 处理能力，本文试图在保障高视觉质量的前提下，选择轻量级网络结构和高效上采样方法来减少 EGVSR 网络所需的计算量。此外，我们在实际硬件平台上实现了批归一化计算融合、卷积加速算法及其他神经网络加速技术，以优化 EGVSR 网络的推理过程。最终，我们的 EGVSR 实现了 [email protected] 的实时处理能力。与当前最先进的 VSR 网络 TecoGAN 相比，我们实现了 85.04% 的计算密度降低和 7.92 倍性能加速。在视觉质量方面，所提出的 EGVSR 在公开测试数据集 Vid4 上的大多数指标（如 LPIPS、tOF、tLP 等）位居榜首，并在总体性能得分上超越其他最先进方法。本项目的源代码可在 https://github.com/Thmen/EGVSR 找到。
引用
@article{arxiv.2107.05307,
title = {Real-Time Super-Resolution System of 4K-Video Based on Deep Learning},
author = {Yanpeng Cao and Chengcheng Wang and Changjun Song and Yongming Tang and He Li},
journal= {arXiv preprint arXiv:2107.05307},
year = {2021}
}
备注
8 pages, 7 figures, ASAP