ToolTango：预测机器人规划综合中顺序工具交互的常识泛化
机器人学
2022-06-22 v1
摘要
在工厂或家庭等环境中辅助我们的机器人必须学会将物体作为工具来执行任务，例如使用托盘搬运物体。我们考虑学习常识知识的问题，即何时一个工具可能有用，以及如何将其使用与其他工具组合以完成人类指示的高层任务。具体来说，我们引入了一种新颖的神经模型，称为TOOLTANGO，该模型首先预测下一个要使用的工具，然后利用此信息预测下一个动作。我们表明，这种联合模型可以为学习细粒度策略提供信息，使机器人能够按顺序使用特定工具，并在提高模型准确性方面增加了显著价值。TOOLTANGO使用图神经网络对包含物体及其符号关系的世界状态进行编码，并通过人类教师在物理模拟器中指导虚拟机器人的演示进行训练。该模型利用目标知识和动作历史学习关注场景，最终解码出要执行的符号动作。至关重要的是，我们解决了泛化到未见环境的问题，在这些环境中，一些已知工具缺失，但存在替代的未见工具。我们表明，通过使用从知识库派生的预训练嵌入来增强环境表示，模型可以有效地泛化到新环境。实验结果显示，在预测新环境中具有未见物体的模拟移动操作器的成功符号计划方面，相比基线至少有48.8-58.1%的绝对提升。这项工作朝着使机器人能够快速综合稳健计划以完成复杂任务的方向迈出了一步，尤其是在新环境中。
引用
@article{arxiv.2206.09141,
title = {ToolTango: Common sense Generalization in Predicting Sequential Tool Interactions for Robot Plan Synthesis},
author = {Shreshth Tuli and Rajas Bansal and Rohan Paul and Mausam},
journal= {arXiv preprint arXiv:2206.09141},
year = {2022}
}
备注
Accepted in Journal of AI Research. arXiv admin note: substantial text overlap with arXiv:2105.04556