ToolNet:利用常识泛化预测工具使用以进行机器人规划合成
机器人学
2021-09-21 v3
摘要
在物理环境(如家庭或工厂)中工作的机器人需要学会使用各种可用工具来完成不同任务,例如用拖把清洁、用托盘搬运物体。可能的工具数量庞大,在训练期间演示每种单独工具的用法可能不可行。机器人能否学习常识知识,并适应某些已知工具缺失但存在替代性未见工具的新场景?我们提出一种神经模型,可从可用物体中预测实现给定声明式目标的最佳工具。该模型通过用户演示训练,我们通过众包让人类在物理模拟器中指导机器人来收集这些演示。该数据集维护涉及多步物体交互及符号状态变化的用户规划。我们的神经模型 ToolNet 结合图神经网络以编码当前环境状态,以及目标条件的空间注意力以预测合适工具。我们发现,提供物体的度量和语义属性,以及源自 ConceptNet 等常识知识库的预训练物体嵌入,显著提升了模型对未见工具的泛化能力。该模型做出准确且可泛化的工具预测。与图神经网络基线相比,它在从新世界场景预测已知工具方面实现了 14-27% 的准确率提升,在对训练期间未遇到的新颖物体泛化方面实现了 44-67% 的提升。
引用
@article{arxiv.2006.05478,
title = {ToolNet: Using Commonsense Generalization for Predicting Tool Use for Robot Plan Synthesis},
author = {Rajas Bansal and Shreshth Tuli and Rohan Paul and Mausam},
journal= {arXiv preprint arXiv:2006.05478},
year = {2021}
}
备注
Advances & Challenges in Imitation Learning for Robotics Workshop in Robotics Science and Systems (RSS) 2020. The first two authors contributed equally