Grid-to-Graph：面向强化学习的灵活空间关系归纳偏置
机器学习
2021-02-09 v1
摘要
尽管近年来强化学习已成功应用于诸多领域，我们仍缺乏能够系统性泛化的智能体。虽然契合任务的关系归纳偏置可改善RL智能体的泛化能力，这类偏置通常被直接硬编码于智能体的神经架构中。本文中，我们表明可将以关系图形式编码的关系归纳偏置嵌入智能体。基于该洞见，我们提出Grid-to-Graph（GTG），一种从网格结构到关系图的映射，当经由关系图卷积网络（R-GCN）处理时，其承载有用的空间关系归纳偏置。我们表明，借助GTG，在具有挑战性的程序生成环境与MinAtar上，R-GCN相较于基于卷积神经网络与Neural Logic Machines的基线，无论在分布内还是分布外均具更优泛化能力。此外，我们表明GTG所产生的智能体能够联合推理观测与编码于知识库中的环境动态。
引用
@article{arxiv.2102.04220,
title = {Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning},
author = {Zhengyao Jiang and Pasquale Minervini and Minqi Jiang and Tim Rocktaschel},
journal= {arXiv preprint arXiv:2102.04220},
year = {2021}
}
备注
Accepted by AAMAS 2021