CoTracker3：通过伪标记真实视频实现更简单、更好的点跟踪
计算机视觉与模式识别
2024-10-16 v1
摘要
大多数最先进的点跟踪器都是在合成数据上训练的，因为为此任务标注真实视频很困难。然而，由于合成视频和真实视频之间的统计差异，这可能导致次优性能。为了更好地理解这些问题，我们引入了 CoTracker3，它包含一个新的跟踪模型和一个新的半监督训练方案。这使得在训练期间可以使用没有标注的真实视频，通过使用现成的教师模型生成伪标签。新模型消除或简化了先前跟踪器中的组件，从而实现了更简单且通常更小的架构。这种训练方案比先前的工作简单得多，并且使用少 1000 倍的数据取得了更好的结果。我们进一步研究了缩放行为，以了解在点跟踪中使用更多真实无监督数据的影响。该模型提供在线和离线两种变体，并能可靠地跟踪可见和遮挡的点。
引用
@article{arxiv.2410.11831,
title = {CoTracker3: Simpler and Better Point Tracking by Pseudo-Labelling Real Videos},
author = {Nikita Karaev and Iurii Makarov and Jianyuan Wang and Natalia Neverova and Andrea Vedaldi and Christian Rupprecht},
journal= {arXiv preprint arXiv:2410.11831},
year = {2024}
}