ETAP：基于事件相机的任意点跟踪

跟踪任意点（Tracking Any Point, TAP）最近将运动估计范式从关注具有局部模板的单个显著点转向使用全局图像上下文来跟踪任意点。然而，虽然研究大多关注提高模型在标准设置下的精度，但由于传感器限制，针对困难光照条件和高速运动场景的挑战仍未实现。本 work 通过首个基于事件相机的 TAP 方法来应对这一挑战。它利用事件相机的高时间分辨率和高动态范围，以实现稳健的高速跟踪，并利用 TAP 方法中的全局上下文来处理异步和稀疏的 event 测量。我们进一步扩展 TAP 框架以处理由运动引起的 event 特征变异——从而解决纯 event-based tracking 中的一个开放性挑战——并提出一种新型特征对齐 loss，以确保学习运动鲁健特征。我们的 method 使用来自新建 data generation pipeline 的数据进行训练，并在所有设计决策上进行系统化消融实验。我们的 method 在跨数据集泛化方面表现强劲，在平均 Jaccard 指标上比基线提升 136%。此外，在既定的特征跟踪基准测试中，它比前一最佳仅基于 event 的方法提升 20%，甚至超过前一最佳基于 frame 的方法提升 4.1%。我们的 code 可在 https://github.com/tub-rip/ETAP 获取。