基于立体事件与强度相机的视频帧插值
计算机视觉与模式识别
2023-07-18 v1
摘要
立体事件-强度相机装置被广泛应用，以结合事件相机低延迟与强度相机捕获准确亮度和纹理信息的优势。然而，这种装置通常面临跨模态视差问题，尤其对于具有复杂运动和深度变化的真实场景，仅通过立体校正难以消除，从而给现有的基于事件的视频帧插值（E-VFI）方法带来伪影与失真。为应对该问题，我们提出了一种新颖的立体基于事件的视频帧插值（SE-VFI）网络（SEVFI-Net），从由两个连续关键帧及其间发射的事件流组成的不对齐输入中生成高质量中间帧及对应视差。具体而言，我们提出特征聚合模块（FAM）以缓解视差并在特征域实现空间对齐。随后我们利用融合特征完成精确的光流与视差估计，并通过基于流与基于合成的方式获得更好的插值结果。我们还搭建了由事件相机与RGB-D相机组成的立体视觉采集系统，以收集包含复杂运动与深度变化多样场景的新立体事件-强度数据集（SEID）。在公开真实世界立体数据集（即DSEC与MVSEC）以及我们的SEID数据集上的实验表明，所提SEVFI-Net大幅优于最先进的方法。
引用
@article{arxiv.2307.08228,
title = {Video Frame Interpolation with Stereo Event and Intensity Camera},
author = {Chao Ding and Mingyuan Lin and Haijian Zhang and Jianzhuang Liu and Lei Yu},
journal= {arXiv preprint arXiv:2307.08228},
year = {2023}
}