WATCH：面向相机与人类的世界感知联合轨迹与姿态重建
计算机视觉与模式识别
2025-09-08 v1
摘要
从自然单目视频中进行全局人体运动重建在 VR、图形学和机器人学应用中的需求日益增长，但需要将人体姿态从相机坐标系精确映射到世界坐标系——这是一项受深度模糊性、运动模糊性以及相机与人类运动纠缠所挑战的任务。虽然以人体运动为中心的方法在保持运动细节和物理合理性方面表现出色，但它们存在两个关键局限：对相机朝向信息的利用不足，以及对相机平移线索的整合无效。我们提出了 WATCH（World-aware Allied Trajectory and pose reconstruction for Camera and Human），一个解决这两项挑战的统一框架。我们的方法引入了一种解析航向角分解技术，与现有的几何方法相比具有更高的效率和可扩展性。此外，我们设计了一种受世界模型启发的相机轨迹整合机制，为利用相机平移信息提供了一种超越朴素硬解码方法的有效途径。在自然基准测试上的实验表明，WATCH 在端到端轨迹重建中取得了 SOTA 性能。我们的工作证明了联合建模相机-人体运动关系的有效性，并为解决全局人体运动重建中相机平移整合这一长期挑战提供了新见解。代码将公开发布。
引用
@article{arxiv.2509.04600,
title = {WATCH: World-aware Allied Trajectory and pose reconstruction for Camera and Human},
author = {Qijun Ying and Zhongyuan Hu and Rui Zhang and Ronghui Li and Yu Lu and Zijiao Zeng},
journal= {arXiv preprint arXiv:2509.04600},
year = {2025}
}