EgoCast: 在野外预测以太性人体姿态
计算机视觉与模式识别
2024-12-05 v1
摘要
准确估计和预测人体姿态对于增强增强现实中的沉浸感至关重要。为此目的，我们介绍 EgoCast，这是一种用于基于第三人称视频和 proprioceptive 数据的 3D 人体姿态预测的双模态方法。我们研究了在真实场景中进行人体姿态预测的任务，拓展了动态场景中时间预测的边界，建立在当前野外姿态估计框架之上。我们引入当前帧估计模块，生成伪groundtruth 姿态用于推理，消除了当前方法在预测时通常需要的过去 groundtruth 姿态。我们在最新的 Ego-Exo4D 和 Aria Digital Twin 数据集上的实验结果验证了 EgoCast 用于实际运动估计。 在 Ego-Exo4D Body Pose 2024 挑战赛上，我们的方法显著优于最新方法，为基于非脚本化活动的 egocentric 输入的人体姿态估计和预测奠定了基础。
引用
@article{arxiv.2412.02903,
title = {EgoCast: Forecasting Egocentric Human Pose in the Wild},
author = {Maria Escobar and Juanita Puentes and Cristhian Forigua and Jordi Pont-Tuset and Kevis-Kokitsi Maninis and Pablo Arbelaez},
journal= {arXiv preprint arXiv:2412.02903},
year = {2024}
}