R-Storm：Storm 中的资源感知调度
分布式、并行与集群计算
2019-04-12 v1 网络与互联网体系结构
性能
摘要
大数据时代催生了用于实时分布式流处理的新系统，例如 Apache Storm 是当今工业界最流行的流处理系统之一。然而，Storm 与许多其他流处理系统一样，缺乏智能调度机制。Storm 当前部署的默认轮询调度忽略了资源需求与可用性，因此有时效率低下。我们提出 R-Storm（Resource-Aware Storm），一个在 Storm 中实现资源感知调度的系统。R-Storm 旨在通过最大化资源利用率并最小化网络延迟来提高整体吞吐量。在调度任务时，R-Storm 既能满足软性和硬性资源约束，又能最小化相互通信组件之间的网络距离。我们在微基准 Storm 应用集以及雅虎公司（Yahoo! Inc.）生产环境中使用的 Storm 应用上评估了 R-Storm。实验结果表明，对于微基准测试，R-Storm 相比默认 Storm 实现了 30–47% 更高的吞吐量和 69–350% 更好的 CPU 利用率。对于雅虎的 Storm 应用，R-Storm 基于整体吞吐量比默认 Storm 高出约 50%。我们还证明，在调度多个 Storm 应用时，R-Storm 的表现远优于默认 Storm。
引用
@article{arxiv.1904.05456,
title = {R-Storm: Resource-Aware Scheduling in Storm},
author = {Boyang Peng and Mohammad Hosseini and Zhihao Hong and Reza Farivar and Roy Campbell},
journal= {arXiv preprint arXiv:1904.05456},
year = {2019}
}
备注
Proceedings of the 16th Annual ACM Middleware Conference, Pages 149-161, Vancouver, BC, Canada, December 07 - 11, 2015