基于谈判的多智能体强化学习方法用于可重新配置制造系统的动态调度

可重新配置制造系统（RMS）对于应对未来市场变化至关重要，因为它们能够快速适应消费需求的波动、新技术的引入以及关联供应链部分的中断。此类系统的可调硬件设置需要一种灵活的软规划机制，以在其配置设置的复杂性和可变性下实现实时生产计划和调度。本研究探索了将多智能体强化学习（MARL）应用于 RMS 软规划中动态调度的问题。在提出的框架中，在集中训练中学习最优作业-机器分配的深度 Q 网络（DQN）智能体能够实时适应诸如机器故障和重新配置延迟等随机事件。该模型还包括一种带有注意力机制的谈判，以增强状态表示并提高对关键系统特征的决策焦点。关键 DQN 增强包括优先经验回放、n 步返回、双 DQN 和软目标更新，用于稳定和加速学习。在模拟 RMS 环境中进行的实验表明，所提出的方法在减少制造时间和延迟时间方面优于基线启发式方法，同时提高了机器利用率。该可重新配置制造环境被扩展以模拟现实挑战，包括机器故障和重新配置时间。实验结果表明，尽管增强型 DQN 智能体在应对动态条件方面有效，但机器故障会增加关键绩效指标（如制造时间、吞吐量和总延迟时间）中的可变性。结果确认了将 MARL 机制应用于动态可重新配置制造环境中进行智能和自适应调度的优势。