利用后继表示加速构造性预测框架中的学习

在此，我们提出使用后继表示（successor representation, SR）来加速基于广义价值函数（general value functions, GVFs）的构造性知识系统中的学习。在非结构化和动态环境的机器人技术等现实世界场景中，由于复杂性和规模，手动建模系统及其环境的所有有意义的方面是不可行的。相反，机器人必须能够学习并适应其环境和任务的变化，从自身经验中增量地构建模型。取自强化学习（reinforcement learning, RL）领域的 GVFs 是一种将世界建模为预测性问题的方法。此类模型的一种方法提出了一个由相互连接且相互依赖的 GVF 组成的大规模网络，这些 GVF 随时间增量添加。有理由预期，如果学习过程利用了从过去经验中获得的知识，那么新增量添加的预测可以被更快地学习。SR 提供了这样一种手段，可以将世界的动态与预测目标分离开来，从而捕获可在多个 GVF 之间重用的规律性。作为这项工作的主要贡献，我们表明，在随时间增量添加和学习新预测的持续学习场景中，使用基于 SR 的预测可以提高样本效率和学习速度。我们在网格世界中分析了我们的方法，然后在一个物理机械臂的数据上展示了其潜力。