面向在线视频超分辨率的轨迹感知移位状态空间模型

在线视频超分辨率（VSR）是许多现实世界视频处理应用中的一项重要技术，旨在基于时间上先前的帧恢复当前的高分辨率视频帧。现有的大多数在线VSR方法仅利用一个相邻的前一帧来实现时间对齐，这限制了视频的长程时间建模能力。最近，状态空间模型（SSM）因其线性计算复杂度和全局感受野而被提出，显著提高了计算效率和性能。在此背景下，本文提出了一种基于轨迹感知移位SSM（TS-Mamba）的新型在线VSR方法，利用长程轨迹建模和低复杂度Mamba实现高效的时空信息聚合。具体而言，TS-Mamba首先在视频内构建轨迹，以从先前帧中选择最相似的token。然后，采用由所提出的移位SSM块组成的轨迹感知移位Mamba聚合（TSMA）模块来聚合所选token。移位SSM块基于Hilbert扫描和相应的移位操作设计，以补偿扫描损失并增强Mamba的空间连续性。此外，我们提出了一种轨迹感知损失函数来监督轨迹生成，确保在训练模型时token选择的准确性。在三个广泛使用的VSR测试数据集上进行的大量实验表明，与六个在线VSR基准模型相比，我们的TS-Mamba在大多数情况下实现了最先进的性能，并降低了超过22.7%的复杂度（以MACs计）。