基于人类-物体相互作用预测人类运动的 HOIMotion
计算机视觉与模式识别
2024-07-04 v1
摘要
我们提出 HOIMotion - 一个用于预测人类在人类-物体相互作用期间运动的新方法，该方法整合了过去身体姿态和 egocentric 3D 物体边界框的信息。人类运动预测在许多增强现实应用中至关重要，但大多数现有方法仅使用过去的身体姿态来预测未来运动。HOIMotion 首先使用编码器-残差图卷积神经网络 (GCN) 和多层感知器从身体姿态和 egocentric 3D 物体边界框中提取特征。随后，我们将姿态和物体特征融合到一种新颖的姿态-物体图中，并使用残差解码器 GCN 预测未来的身体运动。我们在 Aria 数字孪生 (ADT) 和 MoGaze 数据集上进行了广泛评估，表明 HOIMotion 在 ADT 上的平均关节位置误差提升最高可达 8.7%，在 MoGaze 上的提升最高可达 7.2%。此外，我们报告了一项人类研究 (N=20)，表明我们方法取得的改进导致预测的姿态被认为既更精确又更真实。总体而言，这些结果揭示了 egocentric 3D 物体边界框对人类运动预测具有重要信息量，并且我们的方法在利用这一信息方面效果显著。
引用
@article{arxiv.2407.02633,
title = {HOIMotion: Forecasting Human Motion During Human-Object Interactions Using Egocentric 3D Object Bounding Boxes},
author = {Zhiming Hu and Zheming Yin and Daniel Haeufle and Syn Schmitt and Andreas Bulling},
journal= {arXiv preprint arXiv:2407.02633},
year = {2024}
}
备注
Accepted at ISMAR 2024 TVCG-track, zhiminghu.net/hu24_hoimotion.html. arXiv admin note: text overlap with arXiv:2403.09885