SATVSR：面向跨场景视频超分辨率的自适应场景 Transformer
计算机视觉与模式识别
2023-04-12 v1
摘要
视频超分辨率（VSR）旨在从低分辨率（LR）帧恢复高分辨率（HR）帧序列。以往的方法主要利用时间上相邻的帧来辅助目标帧的重建。然而在现实世界中，快速场景切换的视频其相邻帧包含大量无关信息，这些 VSR 方法无法自适应地区分并选择有用信息。相比之下，借助适用于时间任务的 Transformer 结构，我们设计了一种新颖的自适应场景视频超分辨率方法。具体而言，我们利用光流对每帧中的图像块进行标注，仅计算具有相同标注的图像块之间的注意力，然后从中选择最相关的标注来补充目标帧的时空信息。该设计可直接使补充信息尽可能来自同一场景。我们进一步提出跨尺度特征聚合模块以更好地处理尺度变化问题。与其他视频超分辨率方法相比，我们的方法不仅在单场景视频上取得显著性能提升，在跨场景数据集上也具有更好的鲁棒性。
引用
@article{arxiv.2211.08703,
title = {SATVSR: Scenario Adaptive Transformer for Cross Scenarios Video Super-Resolution},
author = {Yongjie Chen and Tieru Wu},
journal= {arXiv preprint arXiv:2211.08703},
year = {2023}
}