基于流匹配的生成点轨迹
计算机视觉与模式识别
2025-10-27 v1
摘要
通过视频跟踪一个点是一个具有挑战性的任务，由于视觉遮挡（如外观变化和遮挡）导致的不确定性。虽然当前领先的判别式模型在回归长期点轨迹估计方面表现出色——即使经过遮挡也能做到——但它们仅能回归到不确定性下的均值（或模式），无法捕捉多模态。为克服这一限制，我们引入了生成式点跟踪器（GenPT），一种用于建模多模态轨迹的生成框架。GenPT 采用一种新颖的流匹配公式进行训练，该公式结合了判别式跟踪器的迭代细化、跨窗口一致性的窗口相关先验，以及专为点坐标调校的方差计划。我们展示了如何利用模型生成样本的生成能力，通过在推断期间对生成样本进行以最佳优先级搜索，以利用模型对其预测置信度的指引。我们在标准的 PointOdyssey、Dynamic Replica 和 TAP-Vid 数据集上对 GenPT 与当前最先进的方法进行了评估。进一步地，我们引入了一个带有额外遮挡的 TAP-Vid 变体，以评估遮挡点跟踪性能，并凸显了该模型捕捉多模态能力。GenPT 能够捕捉点轨迹中的多模态，这导致其在遮挡点上实现了领先的跟踪精度，同时在可见点上保持与现有判别式点跟踪器相当的跟踪精度。
引用
@article{arxiv.2510.20951,
title = {Generative Point Tracking with Flow Matching},
author = {Mattie Tesfaldet and Adam W. Harley and Konstantinos G. Derpanis and Derek Nowrouzezahrai and Christopher Pal},
journal= {arXiv preprint arXiv:2510.20951},
year = {2025}
}
备注
Project page: https://mtesfaldet.net/genpt_projpage/