CrossZoom:同步运动去模糊与事件超分辨率
计算机视觉与模式识别
2023-10-02 v1
摘要
尽管传统相机与神经形态事件相机的协作给基于帧-事件的视觉应用带来繁荣,性能仍受限于两模态在时空域的分辨率鸿沟。本文致力于通过分别提升图像的时间分辨率(即运动去模糊)与事件的空间分辨率(即事件超分辨率)来弥合该鸿沟。为此,我们提出 CrossZoom,一种新颖的统一神经网络(CZ-Net),联合恢复模糊输入曝光期内的清晰潜序列及相应高分辨率(HR)事件。具体地,我们提出多尺度模糊-事件融合架构,利用尺度变异特性并有效融合跨模态信息以实现交叉增强。设计了基于注意力的自适应增强与交叉交互预测模块,以缓解低分辨率(LR)事件固有畸变,并通过先验模糊-事件互补信息增强最终结果。此外,我们提出包含 HR 清晰-模糊图像及相应 HR-LR 事件流的新数据集以推动后续研究。在合成与真实数据集上的大量定性与定量实验证明了所提方法的有效性与鲁棒性。代码与数据集发布于 https://bestrivenzc.github.io/CZ-Net/。
引用
@article{arxiv.2309.16949,
title = {CrossZoom: Simultaneously Motion Deblurring and Event Super-Resolving},
author = {Chi Zhang and Xiang Zhang and Mingyuan Lin and Cheng Li and Chu He and Wen Yang and Gui-Song Xia and Lei Yu},
journal= {arXiv preprint arXiv:2309.16949},
year = {2023}
}