使用事件数据提升模糊图像的超分辨率
计算机视觉与模式识别
2024-05-14 v1
摘要
从运动模糊图像进行超分辨率是一个具有显著挑战性的问题，由于运动模糊和低空间分辨率的综合作用。为解决这一挑战性问题，本文引入一种基于事件的模糊图像超分辨率网络（EBSR-Net），利用事件的高时间分辨率来缓解运动模糊并提高高分辨率图像预测。具体而言，我们提出一种多尺度中心-突触事件表示，以充分捕捉事件中固有的运动和纹理信息。此外，我们设计了一个对称的跨模态注意力模块，以充分利用模糊图像和事件之间的互补性。进一步，我们引入由多个残差稠密Swin Transformer块组成的跨模态残差组，其中每个块集成了多个Swin Transformer层和残差连接，用于提取全局上下文并促进跨块特征聚合。大量实验表明，我们的方法在与最先进方法之间具有优势，实现了卓越的性能。
引用
@article{arxiv.2405.06918,
title = {Super-Resolving Blurry Images with Events},
author = {Chi Zhang and Mingyuan Lin and Xiang Zhang and Chenxu Jiang and Lei Yu},
journal= {arXiv preprint arXiv:2405.06918},
year = {2024}
}