EgoPoints：推进自我中心视频中的点追踪
计算机视觉与模式识别
2024-12-09 v1
摘要
我们提出了EgoPoints，一个用于自我中心视频中点追踪的基准。我们在自我中心序列中标注了4.7K条具有挑战性的轨迹。与流行的TAP-Vid-DAVIS评估基准相比，我们包含了多出9倍的出视点和多出59倍的需要重新识别（ReID）的点（返回视野后）。为了衡量模型在这些具有挑战性点上的性能，我们引入了专门监控视野内点、出视点以及需要重新识别的点上追踪性能的评估指标。然后我们提出了一种创建半真实序列的流程，并配有自动真值。我们通过将动态Kubric对象与EPIC Fields中的场景点相结合，生成了11K条此类序列。当在这些序列上微调点追踪方法并在我们的标注EgoPoints序列上进行评估时，我们在所有指标上提升了CoTracker，包括追踪准确率δ*_avg提升2.7个百分点，以及在ReID序列上的准确率（ReIDδ_avg）提升2.4个百分点。我们还将PIPs++的δ*_avg和ReIDδ_avg分别提升了0.3和2.8。
引用
@article{arxiv.2412.04592,
title = {EgoPoints: Advancing Point Tracking for Egocentric Videos},
author = {Ahmad Darkhalil and Rhodri Guerrier and Adam W. Harley and Dima Damen},
journal= {arXiv preprint arXiv:2412.04592},
year = {2024}
}
备注
Accepted at WACV 2025. Paper webpage: https://ahmaddarkhalil.github.io/EgoPoints/