用于人体运动预测的基于语境的可解释时空图卷积网络
计算机视觉与模式识别
2024-03-01 v1 人工智能
摘要
人体运动预测仍然是一个开放性问题，对于自动驾驶和安全应用至关重要。由于运动序列复杂的时空关系，这不仅对运动预测是一个挑战，对执行关节连接的初步解释也是如此。在本工作中，我们提出了一种基于语境的可解释时空图卷积网络（CIST-GCN），作为一种基于 GCN 的高效 3D 人体姿态预测模型，该模型包含特定层，有助于模型可解释性，并提供在分析运动分布和身体行为时可能有用的信息。我们的架构从姿态序列中提取有意义的信息，将位移和加速度聚合到输入模型中，最后预测输出位移。在 Human 3.6M、AMASS、3DPW 和 ExPI 数据集上的大量实验表明，CIST-GCN 在人体运动预测和鲁棒性方面优于以前的方法。鉴于增强运动预测可解释性的想法具有其价值，我们展示了相关的实验，并在此提供了对此类见解的初步评估。可用代码：https://github.com/QualityMinds/cistgcn
引用
@article{arxiv.2402.19237,
title = {Context-based Interpretable Spatio-Temporal Graph Convolutional Network for Human Motion Forecasting},
author = {Edgar Medina and Leyong Loh and Namrata Gurung and Kyung Hun Oh and Niels Heller},
journal= {arXiv preprint arXiv:2402.19237},
year = {2024}
}
备注
10 pages, 6 figures