重访事件生成模型：基于隐式神经表示的自监督事件到视频重建
计算机视觉与模式识别
2024-07-29 v1
摘要
在保持高时间分辨率和动态范围的前提下从事件数据重建强度帧对于弥合基于事件的计算机视觉与基于帧的方法之间的差距至关重要。以往方法依赖于合成数据的监督学习，这缺乏可解释性且风险对事件模拟器的设置过拟合。最近，基于自监督学习(SSL)的方法正在积极探索，这些方法主要利用逐帧光流来估计强度，以实现光度恒等性。然而，当光流不准时，这些方法容易受到错误影响。本文提出了一种新颖的SSL事件到视频重建方法，称为EvINR，它无需标签数据或光流估计。我们的核心思想是直接解决事件生成模型，即一个描述基于时间变化亮度信号如何生成事件的偏微分方程(PDE)。具体而言，我们利用隐式神经表示(INR)，其以时空坐标为输入，预测强度值，以表示事件生成方程的解。该INR以全连接多层感知器(MLP)的参数化，可优化其时序导数以适配事件数据。为使EvINR满足在线需求，我们提出了若干加速技术，显著加快训练过程。全面实验表明，我们的EvINR相较于以往SSL方法在均方误差(MSE)上提升了38%，并与SOTA监督方法相当或更优。项目页面：https://vlislab22.github.io/EvINR/。
引用
@article{arxiv.2407.18500,
title = {Revisit Event Generation Model: Self-Supervised Learning of Event-to-Video Reconstruction with Implicit Neural Representations},
author = {Zipeng Wang and Yunfan Lu and Lin Wang},
journal= {arXiv preprint arXiv:2407.18500},
year = {2024}
}