仅需一次对齐:面向时空视频超分辨率的双向交互方法
计算机视觉与模式识别
2022-07-14 v1
摘要
时空视频超分辨率(ST-VSR)技术可生成具有更高分辨率和更高帧率的高质量视频。现有的先进方法通过关联空间与时间视频超分辨率(S-VSR 与 T-VSR)来完成 ST-VSR 任务。这些方法在 S-VSR 和 T-VSR 中需要两次对齐与融合,这显然冗余,且未能充分挖掘连续空间低分辨率帧的信息流。尽管引入了双向学习(未来到过去与过去到未来)以覆盖所有输入帧,但最终预测的直接融合未能充分利用双向运动学习与所有帧空间信息的内在关联。我们提出了一种有效且高效的带双向交互的循环网络用于 ST-VSR,其中仅需一次对齐与融合。具体而言,它先从未来到过去执行反向推理,再执行正向推理以超分辨率重建中间帧。反向与正向推理被分别指派学习结构与细节,以通过联合优化简化学习任务。此外,设计了一种混合融合模块(HFM)来聚合与提炼信息,以精炼空间信息并重建高质量视频帧。在两个公开数据集上的大量实验表明,我们的方法在效率上优于当前最优方法,并将计算成本降低约 22%。
引用
@article{arxiv.2207.06345,
title = {You Only Align Once: Bidirectional Interaction for Spatial-Temporal Video Super-Resolution},
author = {Mengshun Hu and Kui Jiang and Zhixiang Nie and Zheng Wang},
journal= {arXiv preprint arXiv:2207.06345},
year = {2022}
}
备注
ACMMM 2022