基于卷积查找表的在线流媒体视频超分辨率
图像与视频处理
2023-07-26 v4 计算机视觉与模式识别
摘要
在线视频流媒体在传输带宽和计算能力上存在根本性限制，而超分辨率是一种有前景的潜在解决方案。然而，将现有视频超分辨率方法应用于在线流媒体并非易事。现有视频编解码器和流媒体协议（如 WebRTC）会在空间和时间上动态改变视频质量，从而导致多样且动态的退化。此外，在线流媒体对延迟有严格要求，大多数现有方法不太适用。因此，本文关注鲜有研究的在线流媒体视频超分辨率问题设定。为促进该问题的研究，我们基于真实世界在线流媒体系统构建了一个名为 LDV-WebRTC 的新基准数据集。利用该新基准数据集，我们提出了一种专门针对在线视频流媒体的新方法，其包含卷积与查找表（LUT）混合模型以实现更好的性能-延迟权衡。为应对变化的退化，我们提出一种专家-LUT 混合模块，其中构建了一组专用于不同退化的 LUT 并自适应组合以处理不同退化。实验表明，我们的方法以约 100 FPS 实现 720P 视频 SR，同时显著优于现有基于 LUT 的方法，并与高效的基于 CNN 的方法性能相当。
引用
@article{arxiv.2303.00334,
title = {Online Streaming Video Super-Resolution with Convolutional Look-Up Table},
author = {Guanghao Yin and Zefan Qu and Xinyang Jiang and Shan Jiang and Zhenhua Han and Ningxin Zheng and Xiaohong Liu and Huan Yang and Yuqing Yang and Dongsheng Li and Lili Qiu},
journal= {arXiv preprint arXiv:2303.00334},
year = {2023}
}