迈向深度符号强化学习
人工智能
2016-10-04 v2 机器学习
摘要
深度强化学习（DRL）将深度神经网络的能力应用于试错学习的通用任务，其在 Atari 视频游戏和围棋等任务上的有效性已得到令人信服的展示。然而，当代 DRL 系统从当前一代深度学习技术中继承了许多缺点。例如，它们需要非常大规模的数据集才能有效工作，这意味着即使有此类数据集可用，它们的学习速度也很慢。此外，它们缺乏在抽象层面进行推理的能力，这使得难以实现迁移学习、类比推理和基于假设的推理等高级认知功能。最后，它们的操作对人类而言在很大程度上是不透明的，导致它们不适合可验证性重要的领域。在本文中，我们提出了一种端到端的强化学习架构，包含神经后端和符号前端，有潜力克服上述每一个缺点。作为概念验证，我们给出了该架构的初步实现，并将其应用于一个简单视频游戏的若干变体。我们表明，由此产生的系统——尽管只是一个原型——能够有效地学习，并且通过获取一组人类易于理解的符号规则，在该游戏的随机变体上大幅优于传统的、全神经的 DRL 系统。
引用
@article{arxiv.1609.05518,
title = {Towards Deep Symbolic Reinforcement Learning},
author = {Marta Garnelo and Kai Arulkumaran and Murray Shanahan},
journal= {arXiv preprint arXiv:1609.05518},
year = {2016}
}