TAPFormer：基于帧与事件瞬时异步融合的鲁棒任意点跟踪
计算机视觉与模式识别
2026-03-10 v2
摘要
任意点跟踪 (TAP) 是计算机视觉中的基础且具有挑战性的任务，要求高精度和长期运动推理。最近的尝试将 RGB 帧和事件流组合显示出前景，但通常依赖同步或非自适应融合，导致时间错位，在某一模态失效时严重性能下降。我们引入 TAPFormer，一个基于 transformer 的框架，实现帧和事件的异步时序一致融合，以实现鲁棒且高频率的任意点跟踪。我们的关键创新是瞬时异步融合 (TAF) 机制，通过连续事件更新显式建模离散帧之间的时间演化，弥合低速率帧与高速率事件之间的差距。此外，引入跨模态局部加权融合 (CLWF) 模块，根据模态可靠性自适应调整空间注意力，即使在模糊或低光条件下也能获得稳定且具辨识度的特征。为评估在真实条件下的表现，我们构建了一个新的数据集，包含在多样化照明和运动条件下的帧-事件 TAP 数据。我们的方法在现有点跟踪器中实现了平均像素误差阈值内的 28.2% 的改进。此外，在标准点跟踪基准上，我们的跟踪器始终实现最佳性能。项目网站：tapformer.github.io
关键词
引用
@article{arxiv.2603.04989,
title = {TAPFormer: Robust Arbitrary Point Tracking via Transient Asynchronous Fusion of Frames and Events},
author = {Jiaxiong Liu and Zhen Tan and Jinpu Zhang and Yi Zhou and Hui Shen and Xieyuanli Chen and Dewen Hu},
journal= {arXiv preprint arXiv:2603.04989},
year = {2026}
}