Track-On：基于 Transformer 的在线点跟踪带记忆
计算机视觉与模式识别
2025-01-31 v1
摘要
本文我们考虑长期点跟踪的问题，这需要在视频的多个帧之间保持一致的点识别，尽管在外观、光照、视角和遮挡方面发生变化。我们目标是进行基于帧的在线跟踪，适用于实际的流式场景。具体而言，我们引入 Track-On，一个为在线长期点跟踪设计的简单基于 Transformer 的模型。与依赖完整时间建模的先前方法不同，我们的模型以因果方式处理视频帧，不依赖未来的帧，利用两个记忆模块——空间记忆和上下文记忆——来捕获时间信息并在长时间尺度上保持可靠的点跟踪。在推理阶段，它采用 patch 分类和细化来识别对应关系并实现高精度的点跟踪。通过大量实验，我们展示了 Track-On 在七个数据集上为在线模型树立了新的最佳结果，并在 TAP-Vid 基准测试上优于或与离线方法相抗衡。该方法为在多样化应用中实时跟踪提供了稳健且可扩展的解决方案。项目页面：https://kuis-ai.github.io/track_on
关键词
引用
@article{arxiv.2501.18487,
title = {Track-On: Transformer-based Online Point Tracking with Memory},
author = {Görkay Aydemir and Xiongyi Cai and Weidi Xie and Fatma Güney},
journal= {arXiv preprint arXiv:2501.18487},
year = {2025}
}
备注
ICLR 2025