Harmon：从语言描述生成人oid机器人的全身动作
机器人学
2024-10-17 v1 人工智能
摘要
具有类人化外貌的人oid机器人有可能无缝融入人类环境。对于其与人类共存和协作至关重要的是能够理解自然语言通信并展现类人行为。本工作聚焦于从语言描述生成人oid机器人的多样化全身动作。我们利用来自大量人类动作数据集的人类动作先验来初始化人oid动作，并运用视觉语言模型（VLM）的常识推理能力对这些动作进行编辑和细化。我们的方法展示了能够产生自然、富有表现力且与文本一致的人oid动作的能力，通过仿真和真实世界实验进行了验证。更多视频可在 https://ut-austin-rpl.github.io/Harmon/ 查看。
引用
@article{arxiv.2410.12773,
title = {Harmon: Whole-Body Motion Generation of Humanoid Robots from Language Descriptions},
author = {Zhenyu Jiang and Yuqi Xie and Jinhan Li and Ye Yuan and Yifeng Zhu and Yuke Zhu},
journal= {arXiv preprint arXiv:2410.12773},
year = {2024}
}
备注
Accepted for oral presentation at 8th Annual Conference on Robot Learning. Project website: https://ut-austin-rpl.github.io/Harmon/