HyperE2VID：通过超网络改进基于事件的视频重建
计算机视觉与模式识别
2024-03-19 v2
摘要
基于事件的相机因能以低延迟和高动态范围捕捉高速运动而日益流行。然而，由于事件数据高度稀疏且多变，从事件生成视频仍具挑战性。为此，本研究提出 HyperE2VID，一种用于基于事件的视频重建的动态神经网络架构。我们的方法使用超网络生成逐像素自适应滤波器，并由一个上下文融合模块引导，该模块结合来自事件体素网格与先前重建强度图像的信息。我们还采用课程学习策略以更鲁棒地训练网络。我们在多个基准数据集上的综合实验评估表明，HyperE2VID 不仅在重建质量上超越当前最先进（SOTA）方法，还以更少的参数量、更低的计算需求和更快的推理时间实现了这一点。
引用
@article{arxiv.2305.06382,
title = {HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks},
author = {Burak Ercan and Onur Eker and Canberk Saglam and Aykut Erdem and Erkut Erdem},
journal= {arXiv preprint arXiv:2305.06382},
year = {2024}
}
备注
20 pages, 11 figures. Accepted by IEEE Transactions on Image Processing. The project page can be found at https://ercanburak.github.io/HyperE2VID.html