深度强化学习中稀疏表示的增量式学习
机器学习
2019-12-10 v1 机器学习
摘要
稀疏表示已被证明在深度强化学习中有助于缓解灾难性干扰并提升智能体在累积奖励方面的表现。先前的结果基于两步过程：先离线学习表示，再在线学习动作值函数。本文研究能否同时且增量式地学习稀疏表示与动作值函数。我们采用若干正则化技术，观察它们如何影响DQN智能体在两个不同基准领域中学习到的表示的稀疏性。结果表明，借助恰当的正则化，可以提高DQN智能体所学表示的稀疏性。此外，我们发现学习稀疏表示也带来了累积奖励方面性能的提升。最后，我们发现在所学稀疏表示的智能体对经验回放缓冲区大小的鲁棒性更强。这最后一发现支持了长期存在的假设：深度神经网络所学表示的重叠是灾难性干扰的主因。
引用
@article{arxiv.1912.04002,
title = {Learning Sparse Representations Incrementally in Deep Reinforcement Learning},
author = {J. Fernando Hernandez-Garcia and Richard S. Sutton},
journal= {arXiv preprint arXiv:1912.04002},
year = {2019}
}