基于光流复用的高效时空视频超分辨率
计算机视觉与模式识别
2022-11-17 v3
摘要
本文中，我们考虑时空视频超分辨率（ST-VSR）任务，其可同时提升给定视频的空间分辨率与帧率。尽管近期方法取得显著进展，其中多数仍受高计算成本与长距离信息利用低效的困扰。为缓解这些问题，我们提出一种带光流复用策略的双向循环网络（BRN），以更好地利用来自长距离邻帧的时间知识进行高效重建。具体而言，通过复用相邻帧的中间流，提出一种高效且省内存的多帧运动利用策略，与传统基于 LSTM 的设计相比显著降低了帧对齐的计算负担。此外，BRN 中提出的隐状态由复用的光流更新并经特征精炼模块（FRM）细化以进一步优化。而且，通过利用中间流估计，所提方法可推断非线性运动并更好地恢复细节。大量实验表明，我们基于光流复用的双向循环网络（OFR-BRN）在精度与效率上均优于当前最优（SOTA）方法。
引用
@article{arxiv.2110.06786,
title = {Optical Flow Reusing for High-Efficiency Space-Time Video Super Resolution},
author = {Yuantong Zhang and Huairui Wang and Han Zhu and Zhenzhong Chen},
journal= {arXiv preprint arXiv:2110.06786},
year = {2022}
}
备注
new submit