通过变分稀疏门控学习鲁棒动力学
机器学习
2022-10-24 v1 人工智能
摘要
从其感官输入中学习世界模型使智能体能够通过想象未来结果来规划动作。世界模型此前已被证明可在含少量物体的仿真环境中提升样本效率，但尚未成功应用于含大量物体的环境。在含大量物体的环境中，通常仅少数物体同时运动或交互。本文中，我们研究将这种稀疏交互的归纳偏置整合进从像素训练的世界模型的潜动力学中。首先，我们引入变分稀疏门控（VSG），一种通过随机二元门稀疏更新其特征维度的潜动力学模型。此外，我们提出简化架构简单变分稀疏门控（SVSG），去除了先前模型的确定性路径，从而得到利用 VSG 机制的完全随机转移函数。我们在具有大量运动物体与部分可观测性的 BringBackShapes（BBS）环境中评估两种模型架构，显示出相对于先前模型的明显改进。
引用
@article{arxiv.2210.11698,
title = {Learning Robust Dynamics through Variational Sparse Gating},
author = {Arnav Kumar Jain and Shivakanth Sujit and Shruti Joshi and Vincent Michalski and Danijar Hafner and Samira Ebrahimi-Kahou},
journal= {arXiv preprint arXiv:2210.11698},
year = {2022}
}