TimeTracker：面向非线性运动视频帧插值的基于事件的连续点跟踪
计算机视觉与模式识别
2025-05-07 v1
摘要
利用受生物启发的事件相机作为引导的视频帧插值（VFI），由于事件相机高时间分辨率等优势，近期展现出比基于帧的方法更优的性能和内存效率。基于事件的 VFI 面临的一个障碍是如何有效处理由场景内运动方向和速度的动态变化引起的非线性运动。现有方法要么使用事件估计稀疏光流，要么将事件与图像特征融合以估计稠密光流。遗憾的是，由于来自事件的连续运动线索在时间维度上与图像的稠密空间信息不对齐，运动误差常常降低 VFI 质量。在本文中，我们发现物体运动在空间上是连续的，在连续时间上跟踪局部区域能够更准确地识别时空特征相关性。鉴于此，我们提出了一种新颖的基于连续点跟踪的 VFI 框架，名为 TimeTracker。具体来说，我们首先设计了一个场景感知区域分割（SARS）模块，将场景划分为相似的块。然后，提出了一个连续轨迹引导的运动估计（CTME）模块，通过事件跟踪每个块的连续运动轨迹。最后，通过全局运动优化和帧细化生成任意给定时刻的中间帧。此外，我们收集了一个具有快速非线性运动特征的真实世界数据集。大量实验表明，我们的方法在运动估计和帧插值质量方面均优于现有技术。
引用
@article{arxiv.2505.03116,
title = {TimeTracker: Event-based Continuous Point Tracking for Video Frame Interpolation with Non-linear Motion},
author = {Haoyue Liu and Jinghan Xu and Yi Chang and Hanyu Zhou and Haozhi Zhao and Lin Wang and Luxin Yan},
journal= {arXiv preprint arXiv:2505.03116},
year = {2025}
}
备注
Accepted by CVPR 2025