面向事件引导视频超分辨率的空间-时间隐式神经表示学习
计算机视觉与模式识别
2023-03-30 v2 人工智能
摘要
事件相机异步感知强度变化，并产生具有高动态范围和低延迟的事件流。这激发了利用事件引导极具挑战性的视频超分辨率（VSR）任务的研究。本文中，我们首次尝试利用事件高时间分辨率的特性，解决以随机尺度实现 VSR 这一新问题。其难点在于引导 VSR 时如何表示事件的空间-时间信息。为此，我们提出了一种将事件的空间-时间插值与 VSR 纳入统一框架的新颖框架。我们的核心思想是从查询的空间-时间坐标以及来自 RGB 帧和事件的特征中学习隐式神经表示。我们的方法包含三部分。具体而言，空间-时间融合（STF）模块首先从事件和 RGB 帧中学习三维特征。然后，时间滤波器（TF）模块从查询时间戳附近的事件中解锁更显式的运动信息并生成二维特征。最后，空间-时间隐式表示（STIR）模块从这两个模块的输出中以任意分辨率恢复 SR 帧。此外，我们收集了一个具有空间对齐事件和 RGB 帧的真实世界数据集。大量实验表明，我们的方法显著超越先前最优方法，并实现了随机尺度（例如 6.5）的 VSR。代码与数据集见 https://vlis2022.github.io/cvpr23/egvsr。
引用
@article{arxiv.2303.13767,
title = {Learning Spatial-Temporal Implicit Neural Representations for Event-Guided Video Super-Resolution},
author = {Yunfan Lu and Zipeng Wang and Minjie Liu and Hongjian Wang and Lin Wang},
journal= {arXiv preprint arXiv:2303.13767},
year = {2023}
}
备注
Accepted by CVPR2023