重访离散 Soft Actor-Critic
机器学习
2024-11-21 v4 人工智能
摘要
我们研究了将被视为最先进强化学习（RL）算法的 Soft Actor-Critic (SAC) 从连续动作空间适配到离散动作空间的问题。我们重访了原始的离散 SAC，并深入理解了其在离散设定下所面临的 Q 值低估与性能不稳定问题。为此，我们提出稳定离散 SAC（SDSAC），一种利用熵惩罚与带 Q-clip 的双平均 Q-learning 来解决这些问题的算法。在具有离散动作空间的典型基准（包括 Atari 游戏和大规模 MOBA 游戏）上的大量实验显示了我们所提方法的有效性。我们的代码位于：https://github.com/coldsummerday/SD-SAC.git。
引用
@article{arxiv.2209.10081,
title = {Revisiting Discrete Soft Actor-Critic},
author = {Haibin Zhou and Tong Wei and Zichuan Lin and junyou li and Junliang Xing and Yuanchun Shi and Li Shen and Chao Yu and Deheng Ye},
journal= {arXiv preprint arXiv:2209.10081},
year = {2024}
}
备注
Accepted by Transactions on Machine Learning Research (TMLR)