HR-INR：基于事件相机的连续空间-时间视频超分辨率方法
计算机视觉与模式识别
2025-10-02 v2 多媒体
机器人学
摘要
连续空间-时间视频超分辨率（C-STVSR）旨在以任意比例同时提升视频的分辨率和帧率。最近，隐式神经表示（INR）被应用于视频修复，代表方法将视频表示为可以在任意比例下解码的隐式场。然而，现有基于INR的C-STVSR方法通常仅依赖两帧作为输入，导致帧间运动信息不足。因此，它们难以捕捉快速、复杂的运动和跨超过三帧的长期依赖关系，限制了在动态场景中的性能。本文提出了一种新的C-STVSR框架，称为HR-INR，基于INR捕获整体依赖关系和局部运动。该方法借助事件相机——一种因其高时序分辨率和低延迟而备受推崇的新型传感器。为了充分利用事件提供的丰富时序信息，我们设计了特征提取器，包括（1）基于事件的区域特征提取器——通过提出的事件时序金字塔表示将事件作为输入，以捕捉区域非线性运动；以及（2）基于事件-帧特征提取器，用于捕捉长期依赖和连续运动。我们随后提出了一种新的基于INR的解码器，采用时空嵌入以捕获更大时序感受野内的长期依赖。我们在四个数据集（包括模拟数据和真实数据）上验证了该方法的有效性和通用性，显示出了方法的优越性。项目页面可访问于 https://github.com/yunfanLu/HR-INR
引用
@article{arxiv.2405.13389,
title = {HR-INR: Continuous Space-Time Video Super-Resolution via Event Camera},
author = {Yunfan Lu and Yusheng Wang and Zipeng Wang and Pengteng Li and Bin Yang and Hui Xiong},
journal= {arXiv preprint arXiv:2405.13389},
year = {2025}
}
备注
Project page: https://github.com/yunfanLu/HR-INR