Track4World：面向全像素的世界坐标系三维跟踪
计算机视觉与模式识别
2026-03-06 v2
摘要
从单目视频中估计每个像素的三维轨迹对于全面理解视频的三维动态至关重要且具有前景。近期的单目三维跟踪方法表现卓越，但仅限于稀疏点跟踪或基于优化的稠密跟踪。本文提出一种前馈模型Track4World，实现对视频中每个像素在世界坐标系中的高效稠密三维跟踪。基于VGGT风格ViT编码的全局三维场景表示，Track4World应用新颖的三维相关方案，同时估计任意帧对之间像素级二维和三维稠密流。估计的场景流与重建的三维几何共同支持视频中每个像素的高效三维跟踪。在多个基准数据集上进行大量实验，表明该方法在二维/三维流估计和三维跟踪方面 consistently 优于现有方法，凸显其对实际四维重建任务的鲁健性与可扩展性。
引用
@article{arxiv.2603.02573,
title = {Track4World: Feedforward World-centric Dense 3D Tracking of All Pixels},
author = {Jiahao Lu and Jiayi Xu and Wenbo Hu and Ruijie Zhu and Chengfeng Zhao and Sai-Kit Yeung and Ying Shan and Yuan Liu},
journal= {arXiv preprint arXiv:2603.02573},
year = {2026}
}
备注
Project Page: https://jiah-cloud.github.io/Track4World.github.io/ Code: https://github.com/TencentARC/Track4World