CoWTracker：基于错位而非相关性的跟踪方法
计算机视觉与模式识别
2026-02-05 v1
摘要
稠密点跟踪是计算机视觉中的基础问题，广泛应用于视频分析和机器人操作等场景。当前最先进的跟踪器通常依赖 cost volume 在帧之间匹配特征，但这种方法在空间分辨率上具有二次复杂度，限制了其可扩展性和效率。本文提出了一种新颖的稠密点跟踪方法 \method，摒弃 cost volume，采用错位（warping）技术。灵感来自光流的最新进展，我们的方法通过不断对目标帧的特征从查询帧进行错位，以当前估计为基础，迭代细化跟踪估计。结合 transformer 架构，对所有轨迹进行联合的时空推理，我们的设计在计算特征相关性的情况下建立了长程对应关系。该模型结构简单，却在 TAP-Vid-DAVIS、TAP-Vid-Kinetics 和 Robo-TAP 等标准稠密点跟踪基准测试中实现了最先进的性能。令人惊讶的是，该模型在光流估计方面也表现出色，有时在 Sintel、KITTI 和 Spring 等基准测试上超越了专用方法。这表明，基于错位的架构可以统一稠密点跟踪和光流估计。
引用
@article{arxiv.2602.04877,
title = {CoWTracker: Tracking by Warping instead of Correlation},
author = {Zihang Lai and Eldar Insafutdinov and Edgar Sucar and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2602.04877},
year = {2026}
}
备注
Project website: cowtracker.github.io