以噪声替代先验提升自举DQN的多样性
机器学习
2024-06-25 v3 人工智能
摘要
Q学习是最著名的强化学习算法之一。人们为使用神经网络发展该算法付出了巨大努力，自举深度Q学习网络（Bootstrapped Deep Q-Learning Network）便是其中之一。它利用多个神经网络头为Q学习引入多样性。多样性有时可被视为智能体在给定状态下可采取的合理动作的数量，类似于强化学习中探索比的定义。因此，自举深度Q学习网络的性能与算法内部的多样性水平密切相关。在最初的研究中，已指出随机先验能够提升模型性能。本文进一步探索了以噪声替代先验的可能性，并从高斯分布中采样噪声，为该算法引入更多多样性。我们在Atari基准上进行了实验，并将我们的算法与原始算法及其他相关算法进行了比较。结果表明，我们改进的自举深度Q学习算法在不同类型的Atari游戏中均取得了显著更高的评估分数。因此，我们得出结论：以噪声替代先验能够通过确保多样性的完整性来提升自举深度Q学习的性能。
引用
@article{arxiv.2203.01004,
title = {Improving the Diversity of Bootstrapped DQN by Replacing Priors With Noise},
author = {Li Meng and Morten Goodwin and Anis Yazidi and Paal Engelstad},
journal= {arXiv preprint arXiv:2203.01004},
year = {2024}
}