基于去相关的深度强化学习
机器学习
2019-05-10 v3 人工智能
机器学习
摘要
为高维数据学习有效的表示是强化学习（RL）中的一个挑战性问题。深度强化学习（DRL）如深度Q网络（DQN）通过从卷积网络学习深度编码的表示，在电脑游戏中取得了显著成功。在本文中，我们提出了一种简单但非常有效的DRL算法表示学习方法。我们的核心见解是，DRL算法学习的特征高度相关，这会干扰学习。通过添加一个惩罚潜在特征中相关性（仅少量计算）的正则化损失，我们逐步去相关由深度神经网络表示的特征。在49个Atari游戏上，使用相同的正则化因子，我们的去相关算法在人类标准化分数上达到，比DQN好。特别地，我们的算法在39个游戏上优于DQN，有4个接近平局，仅在个游戏上略有落后。实证结果还表明，该去相关方法适用于分位数回归DQN（QR-DQN）并显著提升性能。在失败游戏上的进一步实验表明，通过微调正则化因子，我们的去相关算法可以胜过DQN和QR-DQN。
引用
@article{arxiv.1903.07765,
title = {Deep Reinforcement Learning with Decorrelation},
author = {Borislav Mavrin and Hengshuai Yao and Linglong Kong},
journal= {arXiv preprint arXiv:1903.07765},
year = {2019}
}