E2V-SDE：基于神经随机微分方程从异步事件到快速连续视频重建
计算机视觉与模式识别
2022-10-17 v2 机器学习
图像与视频处理
摘要
事件相机针对场景中每个像素的亮度变化以异步且独立的方式作出响应。由于这些特性，此类相机具有显著特征：高动态范围（HDR）、高时间分辨率和低功耗。然而，事件相机的结果需被处理为替代表示以用于计算机视觉任务。此外，它们通常含有噪声，并在事件稀疏区域导致性能下降。近年来，众多研究者尝试从事件重建视频。但由于不规则且不连续数据缺乏时间信息，它们未能提供高质量的视频。为克服这些困难，我们引入了 E2V-SDE，其动力学由潜空间中的随机微分方程（SDE）所支配。因此，E2V-SDE 能够在任意时间步快速重建图像，并对未见数据作出逼真预测。此外，我们成功采用多种图像合成技术以提升图像清晰度与时间一致性。通过在模拟与真实场景数据集上开展大量实验，我们验证了我们的模型在各种视频重建设定下优于最先进的方法。在图像质量方面，LPIPS 分数提升高达 12%，且重建速度比 ET-Net 高 87%。
引用
@article{arxiv.2206.07578,
title = {E2V-SDE: From Asynchronous Events to Fast and Continuous Video Reconstruction via Neural Stochastic Differential Equations},
author = {Jongwan Kim and DongJin Lee and Byunggook Na and Seongsik Park and Jeonghee Jo and Sungroh Yoon},
journal= {arXiv preprint arXiv:2206.07578},
year = {2022}
}
备注
arXiv admin note: This submission has been withdrawn by arXiv administrators due to inappropriate text overlap with external sources. Additional information at https://doi.org/10.1109/CVPR52688.2022.01319