PointSt3R：通过3D锚定的点追踪
计算机视觉与模式识别
2025-10-31 v1
摘要
近期基础3D重建模型（如DUSt3R和MASt3R）在静态场景中的2D和3D对应关系方面显示出巨大的潜力。本文提出了将其应用于通过3D锚定点追踪的方案。我们首先表明，这些模型在聚焦于静态点时，可与当前点追踪基准（在EgoPoints上相较于CoTracker2提升33.5%）表现竞争。我们提出将重建损失与训练动态对应关系结合，并引入可见性头，通过相对较小的合成数据对MASt3R进行微调以实现点追踪。重要的是，我们仅在包含查询点的帧对上进行训练和评估，有效消除了任何时间上下文。使用动态和静态点对应关系的混合，我们在四个数据集上实现了竞争或优于CoTracker2的点追踪结果（例如在TAP-Vid-DAVIS上，PointSt3R的δ_avg为73.8，遮挡准确率为85.8%，分别较CoTracker2的75.7和88.3%更优；在EgoPoints和RGB-S上显著超越CoTracker3，分别为61.3 vs 54.2和87.0 vs 82.8）。我们还展示了3D点追踪结果，并对训练数据集和动态对应比例进行了若干消融实验。
引用
@article{arxiv.2510.26443,
title = {PointSt3R: Point Tracking through 3D Grounded Correspondence},
author = {Rhodri Guerrier and Adam W. Harley and Dima Damen},
journal= {arXiv preprint arXiv:2510.26443},
year = {2025}
}
备注
http://rhodriguerrier.github.io/PointSt3R