HandMeThat：物理与社会环境中的人机通信
人工智能
2023-10-09 v1 计算与语言
机器学习
机器人学
摘要
我们介绍了 HandMeThat，一个用于对物理与社会环境中指令理解与遵循进行整体评估的基准。此前的数据库主要聚焦于语言接地与规划，而 HandMeThat 考虑基于物理（物体状态与关系）和社会（人类动作与目标）信息来消解具有歧义的人类指令。HandMeThat 包含 10,000 个人机交互片段。在每个片段中，机器人首先观察人类朝向其内在目标的一段动作轨迹。接下来，机器人接收一条人类指令，并应采取动作以完成通过该指令设定的子目标。在本文中，我们为基准提供了一个文本接口，机器人通过文本命令与虚拟环境交互。我们在 HandMeThat 上评估了若干基线模型，并表明离线和在线强化学习算法在 HandMeThat 上表现不佳，意味着在物理与社会人机通信和交互方面仍有显著的研究空间。
引用
@article{arxiv.2310.03779,
title = {HandMeThat: Human-Robot Communication in Physical and Social Environments},
author = {Yanming Wan and Jiayuan Mao and Joshua B. Tenenbaum},
journal= {arXiv preprint arXiv:2310.03779},
year = {2023}
}
备注
NeurIPS 2022 (Dataset and Benchmark Track). First two authors contributed equally. Project page: http://handmethat.csail.mit.edu/