基于卷积核旁路嫁接的在线视频超分辨率
计算机视觉与模式识别
2022-08-05 v1
摘要
近年来,基于深度学习的模型在视频超分辨率(VSR)中取得了显著性能,但这类模型大多较少适用于在线视频应用。这些方法仅考虑失真质量而忽略了在线应用的关键需求,例如低延迟和低模型复杂度。本文关注在线视频传输,其中 VSR 算法需要实时逐帧生成高分辨率视频序列。为应对此类挑战,我们提出了一种基于新颖核知识迁移方法的极低延迟 VSR 算法,称为卷积核旁路嫁接(CKBG)。首先,我们设计了一种轻量网络结构,其不需要未来帧作为输入,并节省了缓存这些帧的额外时间开销。然后,我们提出的 CKBG 方法通过用包含外部预训练图像 SR 模型先验知识的“核嫁接”旁路原始网络,增强了这一轻量基模型。在测试阶段,我们进一步通过将嫁接的多分支网络转换为简单的单路径结构来加速它。实验结果表明,我们提出的方法能以高达 110 FPS 的速度处理在线视频序列,且具有非常低的模型复杂度和有竞争力的 SR 性能。
引用
@article{arxiv.2208.02470,
title = {Online Video Super-Resolution with Convolutional Kernel Bypass Graft},
author = {Jun Xiao and Xinyang Jiang and Ningxin Zheng and Huan Yang and Yifan Yang and Yuqing Yang and Dongsheng Li and Kin-Man Lam},
journal= {arXiv preprint arXiv:2208.02470},
year = {2022}
}