DriveTrack: 真实世界视频中的长距离点跟踪基准

本文提出了 DriveTrack，一个用于真实世界视频中长距离关键点跟踪的新基准与数据生成框架。DriveTrack 的提出是基于这样一个观察：最先进跟踪器的准确性高度依赖于所选关键点周围的视觉属性，如纹理与光照。问题在于这些伪影在真实世界视频中尤为显著，但由于标注匮乏，这些跟踪器无法在此类场景上进行训练。DriveTrack 通过构建一个在自动驾驶数据集上自动标注点轨迹的框架来弥合这一差距。我们发布了一个包含 24 小时视频中 10 亿条点轨迹的数据集，其规模比先前的真实世界基准大七个数量级，与合成基准的规模相当。DriveTrack 解锁了真实世界视频中点跟踪的新用例。首先，我们展示了在 DriveTrack 上微调关键点跟踪器可将真实世界场景上的准确率提升至 7%。其次，我们分析了跟踪器对真实场景中视觉伪影的敏感性，并启发了在跟踪器旁运行辅助关键点选择器的想法。