从单张模糊图像与事件流恢复连续场景动态
计算机视觉与模式识别
2023-04-07 v1
摘要
本文旨在利用事件流解析单张运动模糊图像，并揭示隐藏于运动模糊背后的时间连续场景动态。为此，学习一个隐式视频函数（IVF）来表示单张运动模糊图像及其同步事件，从而能够在成像曝光时间范围内恢复任意时间戳的潜在清晰图像。具体而言，提出一种双注意力 transformer 以高效利用两种模态的优势，即事件特征的高时间分辨率与图像特征的平滑性，在缓解时间歧义的同时抑制事件噪声。所提网络仅以有限参考时间戳的真实图像作为监督进行训练。运动与纹理引导的监督被同时采用，以增强非参考时间戳的恢复并改善整体清晰度。在合成、半合成和真实世界数据集上的实验表明，我们提出的方法在客观 PSNR 和 SSIM 指标及主观评价上均大幅优于最先进的方法。
引用
@article{arxiv.2304.02695,
title = {Recovering Continuous Scene Dynamics from A Single Blurry Image with Events},
author = {Zhangyi Cheng and Xiang Zhang and Lei Yu and Jianzhuang Liu and Wen Yang and Gui-Song Xia},
journal= {arXiv preprint arXiv:2304.02695},
year = {2023}
}