ShinRL：一个从理论与实践视角评估强化学习算法的库
机器学习
2021-12-09 v1
摘要
我们推出了 ShinRL，这是一个开源库，专门用于从理论和实践两个视角评估强化学习（RL）算法。现有的 RL 库通常允许用户通过回报来评估深度 RL 算法的实际性能。然而，这些库对于分析算法是否如理论预期那样工作（例如，Q 学习是否真正达到了最优 Q 函数）并不一定有用。相比之下，ShinRL 提供了一个 RL 环境接口，可以计算用于深入探究 RL 算法行为的指标，例如学习到的 Q 值与最优 Q 值之间的差距以及状态访问频率。此外，我们引入了一个灵活的求解器接口，用于以一致的方式评估理论上合理的算法（例如，动态规划和表格型 RL）和实践中有效的算法（即深度 RL，通常带有一些额外的扩展和正则化）。作为一个案例研究，我们展示了如何结合 ShinRL 的这两个特性，使得分析深度 Q 学习的行为变得更容易。此外，我们证明了 ShinRL 可用于实证验证近期的理论发现，例如 KL 正则化对值迭代和深度 Q 学习的影响，以及熵正则化策略对对抗性奖励的鲁棒性。ShinRL 的源代码可在 GitHub 上获取：https://github.com/omron-sinicx/ShinRL。
引用
@article{arxiv.2112.04123,
title = {ShinRL: A Library for Evaluating RL Algorithms from Theoretical and Practical Perspectives},
author = {Toshinori Kitamura and Ryo Yonetani},
journal= {arXiv preprint arXiv:2112.04123},
year = {2021}
}
备注
Published at the NeurIPS Deep RL Workshop (2021)