符号问题上用于广义强化学习的关系抽象

在具有符号状态空间的问题中进行强化学习具有挑战性，因为需要在长时域上进行推理。本文提出了一种新方法，该方法利用关系抽象与深度学习相结合，为此类问题学习一个可泛化的 Q 函数。学习到的 Q 函数可以高效地迁移到具有不同对象名称和对象数量，因而具有完全不同状态空间的相关问题上。我们展示了学习到的广义 Q 函数可用于零样本迁移到相关问题，而无需显式的、手工编码的课程学习。在一系列问题上的实证评估表明，我们的方法有助于将学习到的知识高效地零样本迁移到包含许多对象的更大规模问题实例中。