开发兼容OpenAI Gym的框架与仿真环境用于测试求解救护车选址问题的深度强化学习智能体
机器学习
2021-01-14 v2
摘要
背景与动机：深度强化学习（Deep RL）是一个快速发展的领域。历史上大多数应用集中于游戏（如国际象棋、Atari游戏和围棋）。Deep RL现已发展到可能为现实世界问题（包括医疗系统优化）提供价值的阶段。其中一个问题是在呼叫之间何处部署救护车，以最小化从紧急呼叫到救护车抵达现场的时间。这被称为救护车选址问题。目的：开发兼容OpenAI Gym的框架与仿真环境用于测试Deep RL智能体。方法：使用OpenAI Gym和SimPy开发了自定义救护车调度仿真环境。Deep RL智能体使用PyTorch构建。该环境是对现实世界的简化，但允许控制事故位置簇的数量、可能调度位置的数量、医院数量，以及生成在每天不同地点发生的事故。结果：在该自定义环境中测试了一系列基于深度Q网络的Deep RL智能体。与随机分配到调度点相比，所有智能体都减少了紧急呼叫响应时间。Bagging Noisy Duelling Deep Q网络给出了最一致的性能。所有方法若训练过久都有性能下降倾向，因此智能体在其最优性能时保存（并在独立仿真运行上测试）。结论：使用仿真环境开发的Deep RL智能体有潜力为优化救护车选址问题提供新方法。创建开放仿真环境应能使该领域取得更快速进展。
引用
@article{arxiv.2101.04434,
title = {Developing an OpenAI Gym-compatible framework and simulation environment for testing Deep Reinforcement Learning agents solving the Ambulance Location Problem},
author = {Michael Allen and Kerry Pearn and Tom Monks},
journal= {arXiv preprint arXiv:2101.04434},
year = {2021}
}
备注
Fig 1 updated since first version (corrected panel 3 which previously replicated panel 2)