基于跨模态非对称双向运动场的事件视频帧插值
计算机视觉与模式识别
2025-02-20 v1
摘要
视频帧插值 (VFI) 旨在在连续输入帧之间生成中间视频帧。由于事件相机是仅以微秒级时间分辨率编码亮度变化的仿生传感器，多项工作利用事件相机来提升 VFI 的性能。然而，现有方法仅使用事件或近似值来估计双向帧间运动场，无法考虑真实场景中的复杂运动。在本文中，我们提出了一种新颖的基于事件的 VFI 框架，包含跨模态非对称双向运动场估计。具体而言，我们的 EIF-BiOFNet 利用事件和图像的各自有价值特征，直接估计帧间运动场，无需任何近似方法。此外，我们开发了一种基于交互注意力的帧合成网络，以有效利用互补的基于扭曲和基于合成的特征。最后，我们构建了一个大规模基于事件的 VFI 数据集 ERF-X170FPS，具有高帧率、极端运动和动态纹理，以克服先前基于事件的 VFI 数据集的局限性。大量实验结果验证了我们的方法在各种数据集上相较于 SOTA VFI 方法表现出显著的性能提升。我们的项目页面位于：https://github.com/intelpro/CBMNet
关键词
引用
@article{arxiv.2502.13716,
title = {Event-Based Video Frame Interpolation With Cross-Modal Asymmetric Bidirectional Motion Fields},
author = {Taewoo Kim and Yujeong Chae and Hyun-Kurl Jang and Kuk-Jin Yoon},
journal= {arXiv preprint arXiv:2502.13716},
year = {2025}
}
备注
Accepted in CVPR2023(Highlight)