基于光学流的 Fourier 空间深度多尺度突发超分辨率
图像与视频处理
2024-09-25 v1 计算机视觉与模式识别
机器学习
摘要
多帧超分辨率 (MFSR) 由于利用了来自多个帧的丰富信息，性能优于单张图像超分辨率 (SISR)。近期 MFSR 方法采用可变形卷积网络 (DCN) 对帧进行对齐。然而，现有 MFSR 方法因 DCN 的局限性（如小感受野和预定义卷积核数量）导致参考帧与源帧之间存在错位，难以表示高频信息。为此，我们提出一种基于 Fourier 空间的深度多尺度突发超分辨率方法，融合光学流技术 (BurstM)。该方法估计光学流偏移量以实现精确对齐，并预测每个帧的连续 Fourier 系数以表示高频纹理。此外，我们通过支持多种超分辨率 (SR) 比例因子的单模网络，增强了网络的灵活性。我们展示了该方法在性能和灵活性上均优于现有 MFSR 方法。我们的源代码已公开于 https://github.com/Egkang-Luis/burstm。
关键词
引用
@article{arxiv.2409.15384,
title = {BurstM: Deep Burst Multi-scale SR using Fourier Space with Optical Flow},
author = {EungGu Kang and Byeonghun Lee and Sunghoon Im and Kyong Hwan Jin},
journal= {arXiv preprint arXiv:2409.15384},
year = {2024}
}
备注
12 pages