Rosella：面向异构集群的自驱动分布式调度器

大规模交互式网络服务和先进的人工智能应用基于在数千台服务器上执行海量计算任务来进行实时复杂决策。任务调度器通常在异构且易变的环境中运行，需要高吞吐（即每秒调度数百万任务）和低延迟（即为毫秒级任务带来最小调度延迟）。共享系统中其他用户的工作负载、其他后台活动以及数据中心内多样的硬件配置使调度更加复杂。我们提出 Rosella，一种用于异构集群中任务调度的新型自驱动分布式方法。Rosella 自动学习计算环境并实时调整其调度策略。该方案同时提供高吞吐和低延迟，因为它在多台机器上并行运行、协调最小，且每次调度决策仅执行简单操作。我们的学习模块监控系统总负载，并利用该信息动态确定后端算力的优化估计策略。Rosella 将 power-of-two-choice 算法推广到处理异构工作节点，将先前算法得到的 O(log n) 最大队列长度降至 O(log log n)。我们在 32 节点 AWS 集群上以多种工作负载评估 Rosella。实验结果表明，Rosella 显著降低了任务响应时间，并能快速适应环境变化。