重访基于事件的视频帧插值
计算机视觉与模式识别
2023-07-25 v1 机器人学
摘要
动态视觉传感器或事件相机为视频帧插值提供了丰富的互补信息。现有最先进方法遵循结合基于合成与基于扭曲网络的范式。然而，这些方法鲜少充分尊重事件流的固有特性。鉴于事件相机仅编码强度变化与极性而非颜色强度，从事件估计光流无疑比从RGB信息估计更为困难。因此我们提出在事件引导的光流细化策略中融入RGB信息。此外，鉴于事件相机提供的时间信号具有准连续性质，我们提出了一种分治策略，其中基于事件的中间帧合成在多个简化阶段增量进行，而非在单一长阶段完成。在合成与真实世界数据集上的大量实验表明，这些修改相较先前视频帧插值方法产生了更可靠且更真实的中间帧结果。我们的发现强调，细致考虑事件的高时间密度与高噪声等特性有益于插值精度。
引用
@article{arxiv.2307.12558,
title = {Revisiting Event-based Video Frame Interpolation},
author = {Jiaben Chen and Yichen Zhu and Dongze Lian and Jiaqi Yang and Yifu Wang and Renrui Zhang and Xinhang Liu and Shenhan Qian and Laurent Kneip and Shenghua Gao},
journal= {arXiv preprint arXiv:2307.12558},
year = {2023}
}
备注
Accepted by IROS2023 Project Site: https://jiabenchen.github.io/revisit_event