学习语义潜在方向以实现精准可控的人类运动预测
计算机视觉与模式识别
2024-07-17 v1
摘要
在随机人类运动预测 (SHMP) 领域，研究者常常依赖生成模型如 GAN、VAE 和扩散模型。然而，大多数前述方法由于缺乏对潜在分布的引导，难以准确预测既真实又与过去运动一致的运动。本文提出了语义潜在方向 (Semantic Latent Directions, SLD) 以解决这一挑战，旨在约束潜在空间以学习有意义的运动语义并提高 SHMP 的准确性。SLD 定义一系列正交潜在方向，并将未来运动的假设表示为这些方向的线性组合。通过设置这种信息瓶颈，SLD 在捕获有意义的运动语义方面具有优势，从而提高了运动预测的精度。此外，SLD 通过在推断阶段调整潜在方向的系数，提供了可控的预测能力。进一步地，本文引入一组运动查询以增强预测的多样性。通过将这些运动查询与 SLD 空间对齐，SLD 被进一步提升为更准确、更连贯的运动预测。通过在广泛使用的基准数据集上进行大量实验，我们展示了该方法在准确预测运动方面的优势，同时保持了真实性和多样性之间的平衡。我们的代码和预训练模型可在 https://github.com/GuoweiXu368/SLD-HMP 上获取。
引用
@article{arxiv.2407.11494,
title = {Learning Semantic Latent Directions for Accurate and Controllable Human Motion Prediction},
author = {Guowei Xu and Jiale Tao and Wen Li and Lixin Duan},
journal= {arXiv preprint arXiv:2407.11494},
year = {2024}
}
备注
Accepted to ECCV 2024