面向视频游戏实用强化学习的离散与连续动作表示
机器学习
2019-12-25 v1 人工智能
机器学习
摘要
尽管当前大多数强化学习（RL）研究聚焦于在受控环境中提升算法性能，但在类似视频游戏行业所遇约束下的 RL 应用却鲜有研究。在此类约束下运行，我们提出了 Hybrid SAC，一种能够原则性地处理离散、连续及参数化动作的 Soft Actor-Critic 算法扩展。我们展示了 Hybrid SAC 能在我们的一款游戏中成功解决高速驾驶任务，并且在参数化动作基准任务上与最先进方法具有竞争力。我们还探讨了使用归一化流以极小计算成本丰富策略表达力的影响，并识别出当 SAC 与归一化流结合使用时可能出现的一种潜在不良效应，该效应可通过优化不同目标来加以解决。
引用
@article{arxiv.1912.11077,
title = {Discrete and Continuous Action Representation for Practical RL in Video Games},
author = {Olivier Delalleau and Maxim Peter and Eloi Alonso and Adrien Logut},
journal= {arXiv preprint arXiv:1912.11077},
year = {2019}
}
备注
Presented at the AAAI-20 Workshop on Reinforcement Learning in Games