TrackingWorld: 基于世界坐标系的单目 3D 跟踪几乎覆盖所有像素
计算机视觉与模式识别
2025-12-10 v1
摘要
单目 3D 跟踪旨在从单一单目视频中捕捉像素在三维空间中的长期运动, 最近年来取得了快速进展. 然而, 我们认为现有的单目 3D 跟踪方法在分离相机运动与前景动态运动方面仍不足, 且无法对视频中新出现的动态主体进行稠密跟踪. 为解决这两个限制, 我们提出了 TrackingWorld, 一个用于在世界坐标系中对几乎所有像素进行稠密 3D 跟踪的新型管线. 首先, 我们引入跟踪上采样器, 高效地将任意稀疏 2D 轨迹提升为稠密 2D 轨迹. 然后, 为泛化当前跟踪方法以处理新出现的目标, 我们将上采样器应用于所有帧, 并通过消除重叠区域内的轨迹来减少 2D 轨迹的冗余性. lastly, 我们提出了高效的基于优化的框架, 通过估计这些 2D 轨迹的相机姿态和 3D 坐标, 将稠密 2D 轨迹反投影到世界坐标系中的 3D 轨迹. 在针对合成数据和真实世界数据进行大规模评估后显示, 我们的系统在世界坐标系框架下实现了准确且稠密的 3D 跟踪.
引用
@article{arxiv.2512.08358,
title = {TrackingWorld: World-centric Monocular 3D Tracking of Almost All Pixels},
author = {Jiahao Lu and Weitao Xiong and Jiacheng Deng and Peng Li and Tianyu Huang and Zhiyang Dou and Cheng Lin and Sai-Kit Yeung and Yuan Liu},
journal= {arXiv preprint arXiv:2512.08358},
year = {2025}
}
备注
Accepted by NeurIPS 2025. Project Page: https://igl-hkust.github.io/TrackingWorld.github.io/