LHManip：面向杂乱桌面环境中长时序语言引导操作任务的数据集

指导机器人在我们家中完成日常任务一直是机器人学领域的一项长期挑战。尽管语言条件模仿学习与离线强化学习的最新进展在广泛的任务上展现了出色的性能，但它们通常局限于短时序任务——无法反映家庭机器人被期望完成的任务。虽然现有架构有潜力学习这些期望的行为，但缺乏真实机器人系统所需的长时序、多步骤数据集构成了重大挑战。为此，我们提出了长时序操作（LHManip）数据集，包含 200 个片段，通过真实机器人遥操作演示了 20 种不同的操作任务。这些任务包含多个子任务，包括在高度杂乱环境中的抓取、推动、堆叠和投掷物体。每个任务都配有自然语言指令和用于点云或 NeRF 重建的多视角相机视图。该数据集总共包含 176,278 个观测-动作对，是 Open X-Embodiment 数据集的一部分。完整的 LHManip 数据集已在 https://github.com/fedeceola/LHManip 公开提供。