从运动到行为：仿人生成行为控制的分层建模
机器人学
2025-06-03 v1 计算机视觉与模式识别
摘要
人体运动生成建模或合成旨在刻画真实世界多样环境中日常活动的复杂人体运动。然而，当前研究主要关注低层次的短周期运动或高层次的动作规划，而未考虑人类活动分层目标导向的本质。在本工作中，受认知科学启发，我们从人体运动生成向人类行为建模迈出了一步。我们提出了一个名为生成行为控制（GBC）的统一框架，通过将运动与大型语言模型（LLM）生成的分层行为计划对齐，来建模由各种高层次意图驱动的多样人体运动。我们的洞察是，人体运动可以由机器人技术中的任务与运动规划联合控制，但由LLM引导以实现更好的运动多样性和物理逼真度。同时，为了克服现有基准的局限性（即缺乏行为计划），我们提出了GBC-100K数据集，该数据集标注了由目标驱动的语义和运动计划的分层粒度。我们的实验表明，在GBC-100K上训练时，与现有方法相比，GBC能够生成更多样、更有目的且更高质量的人体运动，且时间跨度长10倍，为未来人类运动行为建模的研究奠定了基础。我们的数据集和源代码将公开发布。
引用
@article{arxiv.2506.00043,
title = {From Motion to Behavior: Hierarchical Modeling of Humanoid Generative Behavior Control},
author = {Jusheng Zhang and Jinzhou Tang and Sidi Liu and Mingyan Li and Sheng Zhang and Jian Wang and Keze Wang},
journal= {arXiv preprint arXiv:2506.00043},
year = {2025}
}