OPEND：一个由语言驱动的门与抽屉开启基准
机器学习
2022-12-13 v1
摘要
我们介绍 OPEND，一个用于学习如何用手在由语言指令驱动的照片级真实且物理可靠的仿真环境中打开橱柜门或抽屉的基准。为完成该任务，我们提出了一个由深度神经网络和基于规则的控制器组成的多步规划器。该网络用于从图像中捕捉空间关系并理解语言指令的语义含义。控制器基于空间与语义理解高效地执行计划。我们通过测量系统在测试数据集上的零样本性能来评估我们的系统。实验结果表明，我们的多步规划器针对不同手部进行决策规划的有效性，同时也表明在解决语言理解、空间推理与长时操作所带来的挑战方面，仍有很大空间来开发更好的模型。我们将发布 OPEND 并举办挑战赛，以推动该领域的未来研究。
引用
@article{arxiv.2212.05211,
title = {OpenD: A Benchmark for Language-Driven Door and Drawer Opening},
author = {Yizhou Zhao and Qiaozi Gao and Liang Qiu and Govind Thattai and Gaurav S. Sukhatme},
journal= {arXiv preprint arXiv:2212.05211},
year = {2022}
}