用于高效视频超分辨率的级联时序更新网络
计算机视觉与模式识别
2024-08-27 v1
摘要
现有的视频超分辨率（VSR）方法通常采用循环传播网络从整个视频序列中提取时空信息，展现出令人印象深刻的性能。然而，基于循环的 VSR 网络中的关键组件会显著影响模型效率，例如，对齐模块占据了模型参数的很大一部分，而双向传播机制则显著增加了推理时间。因此，开发一种可部署在资源受限设备（如智能手机）上的紧凑且高效的 VSR 方法仍然具有挑战性。为此，我们提出了一种用于高效 VSR 的级联时序更新网络（CTUN）。我们首先开发了一个隐式级联对齐模块，以从相邻帧中探索时空对应关系。此外，我们提出了一个单向传播更新网络，以高效地探索对高质量视频重建至关重要的长程时序信息。具体而言，我们开发了一个简单而有效的隐藏状态更新器，它可以在前向传播过程中利用未来信息来更新隐藏特征，在保持性能的同时显著减少了推理时间。最后，我们将所有这些组件构建成一个端到端可训练的 VSR 网络。大量实验结果表明，与现有方法相比，我们的 CTUN 在效率和性能之间取得了良好的折中。值得注意的是，与 BasicVSR 相比，我们的方法在仅使用约 30% 的参数和运行时间的情况下获得了更好的结果。源代码和预训练模型将在 https://github.com/House-Leo/CTUN 上提供。
引用
@article{arxiv.2408.14244,
title = {Cascaded Temporal Updating Network for Efficient Video Super-Resolution},
author = {Hao Li and Jiangxin Dong and Jinshan Pan},
journal= {arXiv preprint arXiv:2408.14244},
year = {2024}
}
备注
Project website: https://github.com/House-Leo/CTUN