MIPS：基于蒙特卡洛树搜索的流处理系统实例放置方法
网络与互联网体系结构
2020-08-04 v1
摘要
流处理引擎使现代系统能够对无界数据流进行大规模实时分析。它们通常将一个应用视为有向无环图，流经由各种处理单元流水线化的实例流动。由此产生的一个关键挑战是实例放置，即决定实例在服务器间的放置，以最小化服务器间流量并最大化资源利用率。该挑战不仅源于其内在复杂性，也源于连续应用部署之间的相互影响。大多数最新引擎（如 Apache Heron）采用了更模块化的调度器设计，将任务分解为两个阶段：一个决定实例到容器的映射，另一个聚焦于委托给独立资源管理器的容器到服务器映射。两阶段中未对齐的目标与调度器设计可能导致长响应时间或低利用率。然而，迄今为止鲜有工作应对该挑战。受近期蒙特卡洛树搜索（MCTS）方法在各领域应用成功的启发，我们建立了刻画此类系统的新模型，形式化该问题，并将每个映射阶段转化为序贯决策过程。通过采用 MCTS 方法，我们提出 MIPS，一种基于 MCTS 的实例放置方案，以及时且高效的方式决定两阶段映射。此外，我们讨论了实际问题并改进 MIPS 以进一步提升其性能。大量仿真结果表明，在给定适度采样值的情况下，MIPS 以显著的流量降低和利用率提升优于现有方案。据我们所知，本文是首个研究两阶段映射问题并将 MCTS 应用于解决该挑战的工作。
引用
@article{arxiv.2008.00156,
title = {MIPS: Instance Placement for Stream Processing Systems based on Monte Carlo Tree Search},
author = {Xi Huang and Ziyu Shao and Yang Yang},
journal= {arXiv preprint arXiv:2008.00156},
year = {2020}
}