St4RTrack：世界坐标系下的同步 4D 重建与跟踪
计算机视觉与模式识别
2025-04-18 v1
摘要
动态 3D 重建和视频中的点跟踪通常被分别处理，尽管它们之间存在深刻联系。我们提出 St4RTrack，一个前馈框架，能够从 RGB 输入中在世界坐标系中同步重建和跟踪动态视频内容。这通过预测两个在不同时刻捕获的帧对应的两个恰当定义的点图来实现。具体而言，我们在同一时刻、在同一世界中预测两个点图，捕捉静态和动态场景几何，同时保持 3D 对应关系。通过相对于参考帧对这些预测在视频序列中的链式处理，自然地计算出长程对应关系，有效地将 3D 重建与 3D 跟踪结合起来。与依赖严重依赖 4D 真值监督的先前方法不同，我们采用一种新颖的适应方案，基于重投影损失。我们建立了一个新的广泛基准，用于世界坐标系下的重建和跟踪，展示了统一、数据驱动框架的有效性和效率。我们的代码、模型和基准将被发布。
引用
@article{arxiv.2504.13152,
title = {St4RTrack: Simultaneous 4D Reconstruction and Tracking in the World},
author = {Haiwen Feng and Junyi Zhang and Qianqian Wang and Yufei Ye and Pengcheng Yu and Michael J. Black and Trevor Darrell and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2504.13152},
year = {2025}
}
备注
Project page: https://St4RTrack.github.io/