TRACE：在动态相机与 3D 环境中进行人体化身的 5D 时序回归
计算机视觉与模式识别
2023-11-21 v2
摘要
尽管 3D 人体姿态与形状（HPS）估计正在快速发展，当前方法仍无法可靠地在全球坐标下估计运动中的人体，而这对许多应用至关重要。当相机也在运动时，人体与相机运动相互纠缠，使得该问题尤为困难。为解决这些问题，我们采用一种新颖的 5D 表示（空间、时间与身份），能够对场景中的人进行端到端推理。我们的方法称为 TRACE，引入了若干新颖的架构组件。最重要的是，它使用两张新的“地图”来推理人在相机坐标与世界坐标下随时间的 3D 轨迹。额外的记忆单元使得即使在长时间遮挡期间也能持续跟踪人。TRACE 是首个从动态相机联合恢复并跟踪全球坐标下 3D 人体的一阶段方法。通过端到端训练并利用完整图像信息，TRACE 在跟踪与 HPS 基准上取得了最先进的性能。代码与数据集已发布供研究使用。
引用
@article{arxiv.2306.02850,
title = {TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments},
author = {Yu Sun and Qian Bao and Wu Liu and Tao Mei and Michael J. Black},
journal= {arXiv preprint arXiv:2306.02850},
year = {2023}
}
备注
Project page: https://www.yusun.work/TRACE/TRACE.html