利用物体先验进行点跟踪
计算机视觉与模式识别
2024-09-10 v1 人工智能
机器学习
机器人学
摘要
点跟踪是计算机视觉中的一个基本问题，在增强现实和机器人技术中有众多应用。长期点跟踪中一个常见的失败模式是预测点离开其所属物体并落在背景或其他物体上。我们将此识别为在学习跟踪时未能正确捕捉物体性属性。为解决先前工作的这一局限，我们提出了一种新颖的物体性正则化方法，通过强制点保持在物体实例边界内，引导点感知物体先验。通过在训练时捕捉物体性线索，我们避免了在测试期间计算物体掩码的需要。此外，我们利用上下文注意力来增强特征表示，从而更有效地在特征层面捕捉物体性。因此，我们的方法在三个点跟踪基准上达到了最先进的性能，并通过消融研究进一步验证了我们各组件的有效性。源代码可在以下地址获取：https://github.com/RehgLab/tracking_objectness
引用
@article{arxiv.2409.05786,
title = {Leveraging Object Priors for Point Tracking},
author = {Bikram Boote and Anh Thai and Wenqi Jia and Ozgur Kara and Stefan Stojanov and James M. Rehg and Sangmin Lee},
journal= {arXiv preprint arXiv:2409.05786},
year = {2024}
}
备注
ECCV 2024 ILR Workshop