基于神经算子的时空视频超分辨率
计算机视觉与模式识别
2024-04-10 v1
摘要
本文致力于解决时空视频超分辨率（ST-VSR）任务。现有方法通常在大运动情况下存在运动估计和运动补偿（MEMC）不准确的问题。受物理信息神经网络近期进展的启发，我们将 ST-VSR 中 MEMC 的挑战建模为两个连续函数空间之间的映射。具体而言，我们的方法将粗粒度连续函数空间中独立的低分辨率表示，转换为细粒度连续函数空间中具有丰富时空细节的精细化表示。为了实现高效且准确的 MEMC，我们设计了一种 Galerkin 型注意力函数来执行帧对齐和时间插值。由于 Galerkin 型注意力机制具有线性复杂度，我们的模型避免了分块划分并提供了全局感受野，从而能够精确估计大运动。实验结果表明，所提出的方法在固定尺寸和连续时空视频超分辨率任务中均超越了现有技术。
引用
@article{arxiv.2404.06036,
title = {Space-Time Video Super-resolution with Neural Operator},
author = {Yuantong Zhang and Hanyou Zheng and Daiqin Yang and Zhenzhong Chen and Haichuan Ma and Wenpeng Ding},
journal= {arXiv preprint arXiv:2404.06036},
year = {2024}
}