探索基于事件相机的体育视频帧插值
计算机视觉与模式识别
2024-07-04 v2
摘要
慢动作回放为体育比赛中的关键时刻提供了全新的视角，呈现出引人入胜的视觉体验。然而，捕获慢动作 footage 通常需要高科技、昂贵的摄像机和基础设施。深度学习视频帧插值（VFI）技术近期涌现出作为有前景的解决方案，能够从常规摄像机生成高速 footage。此外，事件相机的运用最近受到关注，因为它们提供了帧与帧之间宝贵的运动信息，进一步提升了 VFI 的性能。本文提出了首个基于事件相机的 VFI 模型，用于生成体育慢动作视频。具体而言，我们设计并实现了一个双摄像头录制 setup，包括一个 RGB 摄像头和一个事件摄像头，用于捕获体育视频，实现两者的时间对齐和空间注册。我们的实验验证表明，TimeLens，这一一种即插即用的事件 VFI 模型，能够有效为体育视频生成慢动作 footage。这项首次调查强调了事件摄像机在生产体育慢动作内容中的实际实用性，为该领域的后续研究奠定了基础。
引用
@article{arxiv.2407.02370,
title = {Investigating Event-Based Cameras for Video Frame Interpolation in Sports},
author = {Antoine Deckyvere and Anthony Cioppa and Silvio Giancola and Bernard Ghanem and Marc Van Droogenbroeck},
journal= {arXiv preprint arXiv:2407.02370},
year = {2024}
}