基于循环神经调度传播的异质图人机团队协调策略学习

随着人机协作在劳动力中的增加，人机团队高效且直观地协调变得至关重要。传统的人机调度方法要么使用精确方法，这类方法在大规模问题上难以处理且难以考虑随机、时变的人类任务表现，要么使用需要专家领域知识开发的特定应用启发式方法。我们提出了一种基于深度学习的框架，称为 HybridNet，它将基于异质图的编码器与循环调度传播器相结合，用于在上下界时间约束下调度随机人机团队。HybridNet 的编码器利用异质图注意力网络（Heterogeneous Graph Attention Networks）对初始环境与团队动态及约束进行建模。通过将任务调度表述为序贯决策过程，HybridNet 的循环神经调度传播器利用长短期记忆（LSTM）模型传播动作的前向后果，以执行快速调度生成，消除了在每对任务-智能体选择之间与环境交互的需要。所得的调度策略网络提供了一个计算轻量但极具表达力的模型，可通过强化学习算法进行端到端训练。我们开发了一个多轮设定下混合人机团队的虚拟任务调度环境，能够建模人类工人的随机学习行为。实验结果表明，在确定性及随机人类表现下，HybridNet 在不同问题规模上均优于其他人机调度方案，且相比纯 GNN 调度器具有更快的运行时间。