AllTracker：高分辨率稠密点轨迹跟踪
计算机视觉与模式识别
2025-08-05 v2
摘要
我们提出AllTracker：一种通过估计查询帧与每个其他帧之间的流场来估计长范围点轨迹的模型。与现有点跟踪方法不同，我们的方法提供高分辨率和稠密（全像素）对应场，可可视化为流图。与现有光流方法不同，我们的方法将一个帧对应数百个后续帧，而不仅仅是下一帧。我们构建了一种新型架构来完成此任务，将现有工作在光流和点跟踪中的技术相结合：该模型在对应估计的低分辨率网格上进行迭代推理，通过2D卷积层对空间信息进行传播，通过像素对齐注意力层对时间信息进行传播。该模型快速且参数高效（仅需1600万参数），在高分辨率下实现了最先进的点跟踪精度（即在40GB GPU上跟踪768x1024像素）。我们方法的优势在于可在光流数据集和点跟踪数据集上联合训练，发现这种做法对于获得顶级性能至关重要。我们提供了关于架构细节和训练配方的详尽消融研究，明确指出哪些细节最为重要。我们的代码和模型权重已在https://alltracker.github.io发布。
引用
@article{arxiv.2506.07310,
title = {AllTracker: Efficient Dense Point Tracking at High Resolution},
author = {Adam W. Harley and Yang You and Xinglong Sun and Yang Zheng and Nikhil Raghuraman and Yunqi Gu and Sheldon Liang and Wen-Hsuan Chu and Achal Dave and Pavel Tokmakov and Suya You and Rares Ambrus and Katerina Fragkiadaki and Leonidas J. Guibas},
journal= {arXiv preprint arXiv:2506.07310},
year = {2025}
}