基于运动增强的事件点跟踪时序一致性方法MATE
计算机视觉与模式识别
2025-07-29 v2
摘要
点跟踪(Tracking Any Point, TAP)是运动分析中的关键任务。基于视频的方法依赖于迭代的局部匹配,但假设在帧之间的盲时间内发生线性运动,从而在大位移或非线性运动时导致点丢失。事件相机具有高时间分辨率和无运动模糊特性，能以微秒级精度捕捉细微运动变化。本文提出了基于事件的任意点跟踪框架,通过两个量身定制的模块解决事件稀疏性和运动敏感性带来的挑战。具体而言,为解决事件稀疏性导致的歧义,一个运动引导模块将运动向量纳入局部匹配过程。此外,集成一个可变运动感知模块,以确保对不同速度不敏感的时序一致响应,从而提升匹配精度。为验证方法有效性,本文构建了两个用于任意点跟踪的事件数据集。该方法相较于仅基于事件的任意点跟踪基线,在Survival_50指标上提升了17.9%。在标准特征跟踪基准上,该方法甚至优于所有现有方法,包括结合事件和视频帧的方法。
引用
@article{arxiv.2412.01300,
title = {MATE: Motion-Augmented Temporal Consistency for Event-based Point Tracking},
author = {Han Han and Wei Zhai and Yang Cao and Bin Li and Zheng-jun Zha},
journal= {arXiv preprint arXiv:2412.01300},
year = {2025}
}