用于边缘服务器监控的 MAPPO 算法

本文考虑了边缘服务器监控中的面向目标的通信问题，其中作业间歇性地到达多个调度器，且必须被分配到具有有限队列和时变可用性的共享边缘服务器。对服务器状态的准确了解对于维持高吞吐量至关重要，但在动态工作负载和部分可观测条件下仍具挑战性。为应对这一挑战，每个调度器通过两种互补机制维护服务器状态知识： 提供即时更新但产生通信开销的主动状态查询，以及 在作业成功或失败完成时揭示服务器状态的作业执行反馈。我们将此构建为一个合作多智能体分布式决策问题，其中调度器联合优化查询调度，以平衡吞吐量与通信开销。为解决此问题，我们提出了一种基于多智能体近端策略优化（MAPPO）的算法，该算法利用集中式训练与分布式执行（CTDE），在部分和陈旧观测下学习分布式查询与调度策略。实验表明，MAPPO 实现了卓越的吞吐量-成本权衡，并在不同的查询成本、作业到达率和调度器数量下显著优于基线策略。