Langevin Soft Actor-Critic：通过不确定性驱动的评论家学习实现高效探索
机器学习
2025-01-30 v1
摘要
现有的演员-评论家算法因缺乏其内部的原则化探索机制，在连续控制强化学习任务中表现出差励的样本效率。鼓励 Thompson 抽样在强化学习中实现高效探索的成功，我们提出了一种新型无模型强化学习算法，Langevin Soft Actor Critic（LSAC），通过不确定性估计来增强评论家学习，而非聚焦于策略优化。LSAC 采用三项关键创新：基于分布式 Langevin 蒙特卡洛（LMC）的近似 Thompson 抽样进行 更新、并行 Tempering 用于探索 函数后验的多个模态、以及使用 动作梯度正则化的扩散合成状态-动作样本。我们的大量实验表明，LSAC 在连续控制任务中优于或相当于主流的无模型强化学习算法。值得注意的是，LSAC 标志着 LMC 基于 Thompson 抽样在具有连续动作空间的连续控制任务中成功应用的第一次突破。
引用
@article{arxiv.2501.17827,
title = {Langevin Soft Actor-Critic: Efficient Exploration through Uncertainty-Driven Critic Learning},
author = {Haque Ishfaq and Guangyuan Wang and Sami Nur Islam and Doina Precup},
journal= {arXiv preprint arXiv:2501.17827},
year = {2025}
}
备注
Published in The Thirteenth International Conference on Learning Representations (ICLR) 2025. The first two authors contributed equally