在世界模型中将动作绑定到对象
机器学习
2022-04-28 v1
摘要
我们研究了在对象分解的世界模型中使用动作-注意力机制将动作绑定到对象的问题。我们提出了两种用于将动作绑定到对象的注意力机制，即软注意力和硬注意力，并在五个环境中的结构化世界模型背景下对其进行了评估。我们的实验表明，硬注意力有助于对比训练的结构化世界模型学习在基于对象的网格世界环境中分离单个对象。此外，我们表明软注意力提高了在机器人操作任务上训练的分解世界模型的性能。学习到的动作注意力权重可用于解释分解的世界模型，因为注意力集中在环境中被操作的对象上。
引用
@article{arxiv.2204.13022,
title = {Binding Actions to Objects in World Models},
author = {Ondrej Biza and Robert Platt and Jan-Willem van de Meent and Lawson L. S. Wong and Thomas Kipf},
journal= {arXiv preprint arXiv:2204.13022},
year = {2022}
}
备注
Published at the ICLR 2022 workshop on Objects, Structure and Causality