基于专家混合模型的 3D 人体运动预测
计算机视觉与模式识别
2024-05-13 v1
摘要
本项目旨在解决人体运动预测问题，这是自动驾驶车辆运动检测等应用领域的关键问题。以往研究强调低推理时间以实现实时性能。我们的主要目标是通过尽可能忠实地复现基于计算约束的最新状态（SOTA）时空变换器模型来批判性地评估现有模型架构，识别其优势及改进机会。这些模型已超越了基于循环神经网络（RNN）的模型局限性，能够通过时空表示生成短期和长期运动序列。我们还提出了一种新型架构，通过在时空（ST）注意力层中集成专家混合（MoE）模块来解决实时推理速度的挑战。所采用的变体为 Soft MoE，这是一种全可微稀疏变换器，已显示在降低推理成本方面提升模型容量的前景。我们将代码公开于 https://github.com/edshieh/motionprediction
引用
@article{arxiv.2405.06088,
title = {A Mixture of Experts Approach to 3D Human Motion Prediction},
author = {Edmund Shieh and Joshua Lee Franco and Kang Min Bae and Tej Lalvani},
journal= {arXiv preprint arXiv:2405.06088},
year = {2024}
}
备注
16 pages, 6 figures