基于JAX的强化学习部分可观测性基准套件

缓解部分可观测性是通用强化学习算法的必要但具有挑战性的任务。为改进算法处理部分可观测性的能力，研究者需要全面的基准来衡量进展。大多数处理部分可观测性的算法仅在具有简单状态别名形式的基准上进行评估，如特征遮蔽和高斯噪声。此类基准不代表真实场景中看到的各种形式的部分可观测性，如视觉遮挡或未知对手意图。我们认为，部分可观测性的基准应具备两个关键属性：首先，它在其部分可观测性形式上应具有覆盖范围，以确保算法的通用性；其二，拥有代理状态信息量大与少之间的显著性能差距。这种差距意味着该环境是可记忆的：即该领域的性能提升来自算法处理部分可观测性的能力，而非其他因素。我们提出了对在部分可观测性下进行强化学习进行经验性基准测试的最佳实践指南，以及开源库POBAX：JAX中的部分可观测性基准。我们描述了各种环境中存在的部分可观测性类型，并挑选出代表性环境构成该基准。这些环境包括定位与地图构建、视觉控制、游戏等。此外，我们展示这些任务均具有可记忆性且需要难以学习的记忆功能，从而为部分可观测性研究提供了具体信号。该框架包括推荐的超参数以及用于快速开箱即用评估的算法实现，以及以JAX实现的高性能环境，可实现GPU可扩展的实验。