CoMusion:基于运动扩散的一致随机人体运动预测
计算机视觉与模式识别
2024-08-20 v3 机器学习
摘要
随机人体运动预测(HMP)旨在从观测到的序列中预测多个可能的未来人体姿态序列。大多数先前工作通过在潜空间中的编码-解码来学习运动分布,这不能保持运动的时空结构。尽管有效,这些方法通常需要复杂的多阶段训练,并产生与给定历史不一致且可能在物理上不真实的预测。为解决这些问题,我们提出了CoMusion,一个单阶段、端到端的基于扩散的随机HMP框架。CoMusion的灵感来自于这样一个见解:平滑的未来姿态初始化可改善预测性能,这一策略此前未在随机模型中使用,但在确定性工作中得到证实。为生成此类初始化,CoMusion的运动预测器以一个基于Transformer的网络开始,用于受损运动的初始重建。然后,采用图卷积网络(GCN)在离散余弦变换(DCT)空间中考虑过去观测来细化预测。我们的方法得益于Transformer-GCN模块设计和所提出的方差调度器,擅长预测准确、真实且一致的运动,同时保持适当的多样性。在基准数据集上的实验结果表明,CoMusion在各指标上超越先前方法,同时展现出更优的生成质量。我们的代码发布于 https://github.com/jsun57/CoMusion/ 。
引用
@article{arxiv.2305.12554,
title = {CoMusion: Towards Consistent Stochastic Human Motion Prediction via Motion Diffusion},
author = {Jiarui Sun and Girish Chowdhary},
journal= {arXiv preprint arXiv:2305.12554},
year = {2024}
}
备注
ECCV 2024