基于图神经网络与强化学习的生产规划问题调度器
机器学习
2023-05-17 v2 机器学习
摘要
强化学习(RL)正日益被应用于作业车间调度问题(JSSP)。但针对 JSSP 的 RL 通常将机器特征向量化表示作为状态空间，这存在三个主要问题：(1) 未能充分捕捉机器单元与作业序列之间的关系，(2) 状态空间大小随机器/作业数量增加呈指数增长，(3) 智能体对未见场景的泛化能力有限。我们提出了一个新颖框架——GraSP-RL，即基于图神经网络(GNN)的强化学习生产规划问题调度器。该框架将 JSSP 表示为图，并利用图神经网络提取的特征训练 RL 智能体。尽管图本身处于非欧几里得空间，但 GNN 提取的特征在当前生产状态于欧几里得空间中提供了丰富的编码，RL 智能体据此选择下一道作业。此外，我们将调度问题构建为分散式优化问题，其中学习智能体被分配至所有生产单元，并从所有生产单元收集的数据中异步学习。随后，GraSP-RL 被应用于一个包含 30 个作业和 4 台机器的复杂注塑生产环境，任务是最小化生产计划的完工时间(makespan)。我们将 GraSP-RL 规划的调度与先入先出(FIFO)等优先级派工规则算法以及禁忌搜索(TS)和遗传算法(GA)等元启发式算法进行比较分析。所提出的 GraSP-RL 在规划 30 个作业的 JSSP 训练任务上优于 FIFO、TS 和 GA。我们进一步在两个不同问题类——开放车间系统(OSS)和反应式 JSSP(RJSSP)上测试训练智能体的泛化能力，结果表明我们的方法优于 FIFO，并与 TS 和 GA 结果相当。
引用
@article{arxiv.2009.03836,
title = {Graph neural networks-based Scheduler for Production planning problems using Reinforcement Learning},
author = {Mohammed Sharafath Abdul Hameed and Andreas Schwung},
journal= {arXiv preprint arXiv:2009.03836},
year = {2023}
}
备注
31 pages, pre-print