Multi-Transmotion: 人体运动预测的预训练模型
计算机视觉与模式识别
2024-11-06 v1 机器人学
摘要
智能系统预测人类行为的能力至关重要，特别是在自动驾驶导航和社会机器人等领域。然而，人类运动的复杂性阻碍了人体运动预测标准化数据集的建立，从而制约了预训练模型的发展。本文通过整合多个数据集（包括轨迹和3D姿态关键点）来解决这些限制，提出了一种用于人体运动预测的预训练模型。我们合并了七个不同模态的数据集并统一了其格式。为了促进多模态预训练，我们提出了Multi-Transmotion，一种用于跨模态预训练的创新基于Transformer的模型。此外，我们提出了一种新的掩码策略以捕获丰富的表示。我们的方法在多个下游任务上展示了具有竞争力的性能，包括NBA和JTA数据集中的轨迹预测，以及AMASS和3DPW数据集中的姿态预测。代码公开：https://github.com/vita-epfl/multi-transmotion
引用
@article{arxiv.2411.02673,
title = {Multi-Transmotion: Pre-trained Model for Human Motion Prediction},
author = {Yang Gao and Po-Chien Luan and Alexandre Alahi},
journal= {arXiv preprint arXiv:2411.02673},
year = {2024}
}
备注
CoRL 2024