基于扩散先验的事件到视频感知重建方法 E2VIDiff
计算机视觉与模式识别
2024-07-12 v1
摘要
事件相机模仿人类视网膜，以卓越的时间分辨率和动态范围捕获亮度变化。将事件整合为强度值面临高度难以置信的挑战，受初始条件歧义的制约。传统的基于回归的深度学习方法在感知质量方面不足，提供的是确定性且常常不真实的重建。在本文中，我们引入扩散模型用于事件到视频重建，实现从单色事件到彩色、真实且感知上优于以往视频生成。凭借所需的图像生成能力和预训练扩散模型的知识，所提方法能够在感知与重建帧失真之间实现更佳的权衡。广泛的基准数据集实验表明，我们的方法能够产生多样化、真实的帧，忠实于给定的事件。
引用
@article{arxiv.2407.08231,
title = {E2VIDiff: Perceptual Events-to-Video Reconstruction using Diffusion Priors},
author = {Jinxiu Liang and Bohan Yu and Yixin Yang and Yiming Han and Boxin Shi},
journal= {arXiv preprint arXiv:2407.08231},
year = {2024}
}