基于时空查找表的在线视频质量增强
图像与视频处理
2024-07-11 v2 计算机视觉与模式识别
摘要
低延迟率对于视频会议和云游戏等基于视频的在线应用至关重要，这使得提升在线场景中的视频质量愈发重要。然而，现有质量增强方法受限于缓慢的推理速度以及对未来帧所含时序信息的需求，难以直接部署于在线任务。本文中，我们提出一种专为解决极少被研究的在线视频质量增强（Online-VQE）问题而设计的新方法STLVQE。我们的STLVQE设计了一种新的VQE框架，包含极大减少冗余计算的模块无关特征提取器，并重新设计了网络中的传播、对齐与增强模块。提出了一种时空查找表（Spatial-Temporal Look-up Tables, STL），其在提取视频时空信息的同时节省大量推理时间。据我们所知，我们是首个在视频任务中利用LUT结构提取时序信息的工作。在MFQE 2.0数据集上的广泛实验表明，我们的STLVQE实现了令人满意的精度-速度权衡。
引用
@article{arxiv.2311.13616,
title = {Online Video Quality Enhancement with Spatial-Temporal Look-up Tables},
author = {Zefan Qu and Xinyang Jiang and Yifan Yang and Dongsheng Li and Cairong Zhao},
journal= {arXiv preprint arXiv:2311.13616},
year = {2024}
}