通过对比随机游走实现自监督任意点跟踪
计算机视觉与模式识别
2024-09-25 v1
摘要
我们提出了一种简单的、自监督的方法来解决任意点跟踪(TAP)问题。我们训练一个全局匹配 Transformer，通过对比随机游走在视频中寻找循环一致的轨迹，利用 Transformer 基于注意力的全局匹配来定义时空图上随机游走的转移矩阵。执行点之间“所有对”比较的能力使得模型能够获得高空间精度和强对比学习信号，同时避免了近期方法的许多复杂性（例如粗到精匹配）。为此，我们提出了一系列设计决策，使得全局匹配架构能够通过循环一致性进行自监督训练。例如，我们发现基于 Transformer 的方法对捷径解很敏感，并提出了一种数据增强方案来解决这一问题。我们的方法在 TapVid 基准测试上取得了强劲的性能，优于先前的自监督跟踪方法（如 DIFT），并与几种有监督方法具有竞争力。
引用
@article{arxiv.2409.16288,
title = {Self-Supervised Any-Point Tracking by Contrastive Random Walks},
author = {Ayush Shrivastava and Andrew Owens},
journal= {arXiv preprint arXiv:2409.16288},
year = {2024}
}
备注
ECCV 2024. Project link: https://ayshrv.com/gmrw . Code: https://github.com/ayshrv/gmrw/