Cuboid-Net: 用于联合空间-时间视频超分辨率的多分支卷积神经网络
图像与视频处理
2024-07-25 v1
摘要
高分辨率视频需求在各个领域持续攀升,得益于科学技术和社会的不断进步。然而,由于受限于成像设备能力、成像条件以及经济和时间因素,常常难以获得高分辨率图像。空间-时间视频超分辨率旨在提升低分辨率低帧率视频的空间和时间分辨率。目前可用的空间-时间视频超分辨率方法往往未能充分挖掘时空域中丰富的信息。为此,本文将输入低分辨率视频概念化为棱柱体结构。基于此视角,我们引入一种创新方法"Cuboid-Net",其包含多分支卷积神经网络。Cuboid-Net旨在协同提升视频的空间和时间分辨率,使其能够跨越空间和时间维度提取丰富且有意义的信息。具体而言,我们将输入视频作为棱柱体,生成不同方向的切片作为网络不同分支的输入。该网络包含四个模块:基于多分支的混合特征提取(MBFE)模块、基于多分支的重建(MBR)模块、第一个阶段的质量增强(QE)模块以及仅用于插值帧的第二个阶段跨帧质量增强(CFQE)模块。实验结果表明,该方法不仅对视频的空间和时间超分辨率有效,而且对光场的空间和角度超分辨率同样有效。
引用
@article{arxiv.2407.16986,
title = {Cuboid-Net: A Multi-Branch Convolutional Neural Network for Joint Space-Time Video Super Resolution},
author = {Congrui Fu and Hui Yuan and Hongji Xu and Hao Zhang and Liquan Shen},
journal= {arXiv preprint arXiv:2407.16986},
year = {2024}
}