面向动作驱动人体运动预测的朝向感知腿部运动学习
计算机视觉与模式识别
2024-02-07 v2 图形学
摘要
动作驱动人体运动预测任务旨在基于观测序列并遵循给定动作标签预测未来人体运动。它不仅需要建模人体运动的内在随机性，还需建模多个动作标签之间平滑且真实的过渡。然而，大多数数据集不包含此类过渡数据，使该任务复杂化。现有工作通过学习平滑先验来简单促进平滑过渡，但这可能导致不自然的过渡，尤其当历史运动与预测运动在朝向上差异显著时。本文中，我们认为有效的人体运动过渡应包含真实的腿部运动以处理朝向变化，并将其构建为动作条件中间插值（ACB）学习任务以增进过渡自然性。由于建模所有可能过渡实际上不合理，我们的 ACB 仅在有活跃步态运动的极少数选定动作类（如 Walk 或 Run）上执行。具体而言，我们遵循两阶段预测策略：首先使用运动扩散模型生成具指定未来动作的目标运动，然后产生中间插值以平滑连接观测与预测，最终解决运动预测。我们的方法在训练时完全无需标注的运动过渡数据。为展示方法的鲁棒性，我们将在一个数据集上训练的中间插值学习模型泛化到两个未见的大规模运动数据集以产生自然过渡。在三个基准数据集上的大量实验评估表明，我们的方法在视觉质量、预测精度和动作保真度方面均取得了最先进的性能。
引用
@article{arxiv.2310.14907,
title = {Orientation-Aware Leg Movement Learning for Action-Driven Human Motion Prediction},
author = {Chunzhi Gu and Chao Zhang and Shigeru Kuriyama},
journal= {arXiv preprint arXiv:2310.14907},
year = {2024}
}