经验回放对强化学习的影响
人工智能
2017-10-19 v1 机器学习
机器学习
摘要
经验回放是许多近期深度强化学习进展背后的关键技术。允许智能体从早期记忆中学习可以加速学习并打破不良的时间相关性。尽管其应用广泛，但人们对经验回放的性质知之甚少。保留的记忆量如何影响学习动态？优先处理某些经验是否有帮助？在本文中，我们通过建立带有经验回放的 Q-learning 的动力学系统 ODE 模型来解决这些问题。我们推导了简单设定下 ODE 的解析解。我们表明，即使在这个非常简单的设定中，保留的记忆量也会显著影响智能体的性能。记忆过多或过少都会减慢学习速度。此外，我们刻画了优先回放损害智能体学习的机制。我们表明，我们的解析解与实验结果高度吻合。最后，我们提出了一种自适应改变记忆缓冲区大小的简单算法，该算法能持续获得良好的实证性能。
引用
@article{arxiv.1710.06574,
title = {The Effects of Memory Replay in Reinforcement Learning},
author = {Ruishan Liu and James Zou},
journal= {arXiv preprint arXiv:1710.06574},
year = {2017}
}