面向机器人操作零样本泛化的因子化世界模型
机器人学
2022-02-14 v1 机器学习
摘要
包含众多对象的环境的世界模型面临状态组合爆炸问题：随着对象数量的增加，可能的排列数量呈指数级增长。本文中，我们学习使用对象因子化世界模型来泛化机器人拾取与放置任务，该模型通过确保预测对对象排列具有等变性来应对组合爆炸。以往的对象因子化模型要么受限于无法对动作建模，要么受限于无法为复杂的操作任务进行规划。我们基于近期用于训练对象因子化世界模型的对比方法，将其扩展以建模连续的机器人动作，并准确预测机器人拾取与放置的物理过程。为此，我们使用了一个残差堆叠的图神经网络，该网络在其节点和边神经网络中的多个层级接收动作信息。至关重要的是，我们学习到的模型可以对训练数据中未出现的任务进行预测。也就是说，我们展示了对新任务成功的零样本泛化，且模型性能仅有轻微下降。此外，我们证明，使用启发式搜索，我们的模型集成可用于规划涉及多达12次拾取与放置动作的任务。我们还展示了向物理机器人的迁移。
引用
@article{arxiv.2202.05333,
title = {Factored World Models for Zero-Shot Generalization in Robotic Manipulation},
author = {Ondrej Biza and Thomas Kipf and David Klee and Robert Platt and Jan-Willem van de Meent and Lawson L. S. Wong},
journal= {arXiv preprint arXiv:2202.05333},
year = {2022}
}