HumanoidGen：基于 LLM 推理生成双手灵巧操纵数据
机器人学
2025-11-18 v2 人工智能
摘要
在机器人操作领域，现有机器人数据集和仿真基准主要服务于机器人臂平台。然而对于配备双臂和灵巧手的 humanoid 机器人而言，仿真任务和高质量演示数据严重不足。双手灵巧操纵本质上更为复杂，需协调臂部运动和手部操作，导致自主数据收集具有挑战性。本文提出 HumanoidGen，一个利用原子灵巧操作和 LLM 推理生成关系约束的自动化任务创建与演示收集框架。具体而言，我们基于原子操作为机器人资产和灵巧手提供空间标注，并通过 LLM 规划器根据物体 affordance 和场景生成一系列可执行的空间约束，以指导臂部运动。为提升规划能力，我们采用变种的蒙特卡洛树搜索来增强 LLM 对长时序任务和标注不足情况下的推理能力。在实验中，我们创建了一个包含增强情景的新基准，用于评估收集数据的质量。结果表明，2D 和 3D 扩散策略的性能能够随生成数据集的规模而提升。项目页面为 https://openhumanoidgen.github.io。
引用
@article{arxiv.2507.00833,
title = {HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning},
author = {Zhi Jing and Siyuan Yang and Jicong Ao and Ting Xiao and Yu-Gang Jiang and Chenjia Bai},
journal= {arXiv preprint arXiv:2507.00833},
year = {2025}
}
备注
Project Page: https://openhumanoidgen.github.io