基于模糊感知的时空稀疏变换器用于视频去模糊

视频去模糊依赖于利用视频序列中其他帧的信息来恢复当前帧中模糊区域。主流方法采用双向特征传播、时空变换器或两者结合，以从视频序列中提取信息。然而，内存和计算资源的限制约束了时空变换器的时序窗口长度，阻碍了从视频序列中提取更长的时序上下文信息。此外，双向特征传播对模糊帧中的不准确光流高度敏感，导致传播过程中误差累积。为解决这些问题，我们提出了一种名为 BSSTNet 的 Blur-aware Spatio-temporal Sparse Transformer Network，即模糊感知时空稀疏变换器网络。它引入了模糊图谱，将原本稠密的注意力转换为稀疏形式，实现了对整个视频序列信息的更广泛利用。具体而言，BSSTNet (1) 在变换器中使用更长的时序窗口，利用来自更远位置帧的信息来恢复当前帧中模糊像素。(2) 引入由模糊图谱引导的双向特征传播，减少了由模糊帧引起的误差累积。实验结果表明，所提出的 BSSTNet 在 GoPro 和 DVD 数据集上优于当前最先进的方法。