重访粒子视频：利用点轨迹穿越遮挡进行跟踪
计算机视觉与模式识别
2022-07-26 v2
摘要
视频中的像素跟踪通常被作为光流估计问题研究，其中每个像素用一个将其定位于下一帧的位移向量描述。尽管更宽的时间上下文可自由获取，先前考虑该上下文的努力相较两帧方法仅带来微小提升。本文中，我们重访 Sand 和 Teller 的“粒子视频”方法，并将像素跟踪作为长程运动估计问题研究，其中每个像素用一条将其定位于多个未来帧的轨迹描述。我们使用驱动当前光流与物体跟踪最优性能的组件（如稠密代价图、迭代优化和习得表观更新）重建这一经典方法。我们利用从已有光流数据中挖掘并经多帧遮挡合成增强的长程非模态点轨迹训练模型。我们在轨迹估计基准和关键点标签传播任务中测试所提方法，并优于最优光流与特征跟踪方法。
引用
@article{arxiv.2204.04153,
title = {Particle Video Revisited: Tracking Through Occlusions Using Point Trajectories},
author = {Adam W. Harley and Zhaoyuan Fang and Katerina Fragkiadaki},
journal= {arXiv preprint arXiv:2204.04153},
year = {2022}
}