基于 Transformer 的鲁棒人体运动预测模型
计算机视觉与模式识别
2024-04-09 v3
摘要
理解人体运动是为开发人机协作应用而面临的一项基本挑战。计算机视觉研究者已通过仅关注降低预测误差来研究该领域，却未考虑促进其在机器人中实施的需求。在本文中，我们提出一种基于 Transformer 的新模型，可同时处理短期与长期实时三维人体运动预测。我们的双通道 Transformer（2CH-TR）能够高效利用短暂观测序列（400ms）的时空信息，并针对当前最优方法取得具竞争力的精度。2CH-TR 以 Transformer 的高效性能脱颖而出，比其竞争模型更轻量且更快速。此外，我们的模型在人体运动被严重遮挡的条件下进行了测试，证明了其在高度噪声环境中重建与预测三维人体运动的鲁棒性。实验结果表明，在相同的输入前缀条件下，所提出的 2CH-TR 在重建与预测方面优于另一基于 Transformer 的最优模型 ST-Transformer。在 Human3.6M 数据集上以 400ms 输入前缀，我们的模型在短期预测中将 ST-Transformer 的均方误差降低 8.89%，在长期预测中降低 2.57%。网页：https://evm7.github.io/2CHTR-page/
引用
@article{arxiv.2302.08274,
title = {Robust Human Motion Forecasting using Transformer-based Model},
author = {Esteve Valls Mascaro and Shuo Ma and Hyemin Ahn and Dongheui Lee},
journal= {arXiv preprint arXiv:2302.08274},
year = {2024}
}
备注
Accepted to IROS2022. Webpage: https://evm7.github.io/2CHTR-page/