面向认知无线电应用的多智能体强化学习测试平台

技术趋势表明，射频强化学习（RFRL）将在未来的无线通信系统中扮演重要角色。RFRL的应用范围从军事通信干扰到增强WiFi网络。 在部署这些用途的算法之前，必须在仿真环境中进行训练，以确保其性能充分。因此，我们之前创建了RFRL Gym：一个标准化、可访问的工具，用于开发和测试无线通信领域的强化学习（RL）算法。该环境利用OpenAI Gym框架，包含可定制的射频频谱仿真情景。然而，RFRL Gym仅支持每个仿真训练单个RL智能体；这并非理想，因为大多数现实射频场景将包含多个智能体，处于合作、竞争或混合设置中，这是频谱拥塞的自然结果。因此，通过与Ray RLlib集成，为RFRL Gym添加了多智能体强化学习（MARL）功能，用于训练和评估，使其成为射频频谱仿真的更强大工具。本文提供了更新后的RFRL Gym环境概述。本文描述了该工具的通用框架，与现有类似资源进行比较，突出了我们应用的显著添加和重构。随后讨论了在MARL环境中测试各种射频场景的结果以及未来添加的内容。