TAPIP3D：持久三维几何中的任意点跟踪
计算机视觉与模式识别
2025-11-18 v3 机器学习
摘要
我们提出 TAPIP3D，一种用于单目 RGB 和 RGB-D 视频中长期三维点跟踪的新方法。TAPIP3D 将视频表示为相机稳定的时空特征云，利用深度和相机运动信息将二维视频特征提升到三维世界空间，从而有效消除相机运动。在该稳定的三维表示中，TAPIP3D 不断迭代细化多帧运动估计，实现跨越长时间尺度的稳健点跟踪。为处理三维点分布的非规则结构，我们提出了一种三维邻域到邻域（N2N）注意力机制——一种三维感知的上下文化策略，通过构建信息丰富、在空间上连贯的特征邻域来支持精确的轨迹估计。我们的三维中心化表述显著优于现有的三维点跟踪方法，甚至在可靠深度可用时超过了最先进的二维像素跟踪器。该模型支持相机中心（非稳定）和世界中心（稳定）坐标下的推理，实验表明，补偿相机运动可显著提升跟踪鲁棒性。通过取代先前二维和三维跟踪器中使用的常规二维方形相关窗口，TAPIP3D 采用基于空间的三维注意力机制，在多个三维点跟踪基准上实现了强劲且一致的性能。项目页面：https://tapip3d.github.io
引用
@article{arxiv.2504.14717,
title = {TAPIP3D: Tracking Any Point in Persistent 3D Geometry},
author = {Bowei Zhang and Lei Ke and Adam W. Harley and Katerina Fragkiadaki},
journal= {arXiv preprint arXiv:2504.14717},
year = {2025}
}
备注
NeurIPS 2025. Long-term feed-forward 3D point tracking in persistent 3D point maps. Code:https://github.com/zbw001/TAPIP3D