PointOdyssey：用于长期点跟踪的大规模合成数据集
计算机视觉与模式识别
2023-07-28 v1
摘要
我们介绍了 PointOdyssey，一个用于训练和评估长期细粒度跟踪算法的大规模合成数据集及数据生成框架。我们的目标是通过强调具有自然主义运动的长视频来推进 state-of-the-art。为实现自然主义，我们使用真实世界动作捕捉数据驱动可形变角色，构建与动作捕捉环境匹配的 3D 场景，并利用通过真实视频结构从运动恢复（structure-from-motion）挖掘的轨迹渲染相机视角。我们通过随机化角色外观、运动轮廓、材质、光照、3D 资产和大气效果来创造组合多样性。我们的数据集目前包含 104 个视频，平均时长 2,000 帧，其对应标注数量比先前工作高出数量级。我们表明现有方法可在我们的数据集上从零训练并优于已发布的变体。最后，我们对 PIPs 点跟踪方法进行了改进，大幅拓宽其时间感受野，从而提升了其在 PointOdyssey 以及两个真实世界基准上的性能。我们的数据与代码公开于：https://pointodyssey.com
引用
@article{arxiv.2307.15055,
title = {PointOdyssey: A Large-Scale Synthetic Dataset for Long-Term Point Tracking},
author = {Yang Zheng and Adam W. Harley and Bokui Shen and Gordon Wetzstein and Leonidas J. Guibas},
journal= {arXiv preprint arXiv:2307.15055},
year = {2023}
}