槽结构世界模型
计算机视觉与模式识别
2024-02-07 v1 机器学习
摘要
感知并推理单个物体及其交互的能力是构建智能人工系统需要实现的目标。当前最先进的方法使用前馈编码器提取物体嵌入，并使用隐式图神经网络来建模这些物体嵌入之间的交互。然而，前馈编码器无法提取以物体为中心的表示，也无法解耦具有相似外观的多个物体。为了解决这些问题，我们引入了槽结构世界模型（Slot Structured World Models, SSWM），这是一类将基于槽注意力（Slot Attention）的以物体为中心的编码器与基于隐图的动力学模型相结合的世界模型。我们在具有简单物理交互规则的 Spriteworld 基准上评估了我们的方法，其中槽结构世界模型在一系列具有动作条件物体交互的（多步）预测任务上持续优于基线模型。所有用于复现论文实验的代码均可从 https://github.com/JonathanCollu/Slot-Structured-World-Models 获取。
引用
@article{arxiv.2402.03326,
title = {Slot Structured World Models},
author = {Jonathan Collu and Riccardo Majellaro and Aske Plaat and Thomas M. Moerland},
journal= {arXiv preprint arXiv:2402.03326},
year = {2024}
}