面向流处理系统的层次化、多目标调度器协作设计
分布式、并行与集群计算
2025-12-09 v1
摘要
流处理是一种支持广泛应用实现实时数据处理的计算范式。在Meta，我们用于各种任务，如为产品洞察提供支持、改善用户服务，以及为不断增长的用户基数实现规模化AI。Meta当前的流处理框架能够在几秒钟内处理太平洋级(TB)数据。这得益于我们的高效调度器和多层基础设施，将工作负载在各种计算资源之间进行分配，彼此协作，跨越基础设施的多个部分。然而，随着应用复杂度和用户需求的不断增长，之前几乎不需要负载均衡的基础设施区域，现在必须更加稳健和主动，以适应应用的负载。在我们的工作中，我们探索如何构建和设计这样一个系统，专注于对关键计算资源和这些应用的属性进行负载均衡。我们还展示了如何将新的调度器集成到现有调度器的层次结构中，允许多个调度器协同工作，在各自的基础设施层面上有效地进行负载均衡。
引用
@article{arxiv.2512.07792,
title = {Designing Co-operation in Systems of Hierarchical, Multi-objective Schedulers for Stream Processing},
author = {Animesh Dangwal and Yufeng Jiang and Charlie Arnold and Jun Fan and Mohamed Bassem and Aish Rajagopal},
journal= {arXiv preprint arXiv:2512.07792},
year = {2025}
}