TMP：用于在线视频超分的时间运动传播
计算机视觉与模式识别
2024-10-24 v2
摘要
在线视频超分高度依赖于有效的对齐模块来聚合时间信息，而严格的延迟要求使得准确且高效的对齐极具挑战性。尽管已取得很大进展，但现有的大多数在线视频超分方法分别估计每一帧的运动场以执行对齐，这在计算上是冗余的，并且忽略了相邻帧的运动场是相关的这一事实。在这项工作中，我们提出了一种高效的时间运动传播方法，该方法利用运动场的连续性来实现连续帧之间快速的像素级对齐。具体而言，我们首先将偏移量从先前帧传播到当前帧，然后在其邻域内对其进行细化，这显著减小了匹配空间并加快了偏移估计过程。此外，为了增强对齐的鲁棒性，我们对扭曲后的特征执行空间维度加权，其中具有更精确偏移量的位置被赋予更高的重要性。在基准数据集上的实验表明，所提出的 TMP 方法实现了领先的在线视频超分准确率和推理速度。TMP 的源代码可在 https://github.com/xtudbxk/TMP 找到。
引用
@article{arxiv.2312.09909,
title = {TMP: Temporal Motion Propagation for Online Video Super-Resolution},
author = {Zhengqiang Zhang and Ruihuang Li and Shi Guo and Yang Cao and Lei Zhang},
journal= {arXiv preprint arXiv:2312.09909},
year = {2024}
}