基于应用聚类的突发缓冲区装备型高性能计算中动态 I/O 请求的概率调度
分布式、并行与集群计算
2022-10-17 v1
摘要
突发缓冲（Burst-Buffering）是一种有前景的存储方案，它引入一个高吞吐量的中间存储缓冲层，以缓解当前高性能计算（HPC）平台所面临的 I/O 瓶颈问题。现有的基于马尔可夫链的概率 I/O 调度利用突发缓冲的负载状态以及应用的周期性特征，来减少因突发缓冲容量有限而导致的 I/O 拥塞。然而，这种概率方法要求应用具有一致的 I/O 特征，包括相似的 I/O 时长和较长的应用长度，才能获得准确的 I/O 负载估计。这些一致性条件在实际情况中往往难以满足。在本文中，我们提出了一种基于应用聚类的动态概率 I/O 调度通用框架（DPSAC），以使应用满足一致性要求。根据每个应用的 I/O 阶段长度，我们的方案首先部署一维 K-means 聚类算法将应用聚为若干簇。接着，它通过应用的概率模型计算每簇的预期工作负载，并按比例划分突发缓冲。然后，为处理应用的动态变化（加入与退出），它基于启发式策略更新簇。最后，它应用基于应用工作负载分布与突发缓冲状态的概率 I/O 调度，为所有并发应用调度 I/O 以缓解 I/O 拥塞。在合成数据上的仿真结果表明，我们的 DPSAC 有效且高效。
引用
@article{arxiv.2210.07584,
title = {Probabilistic Scheduling of Dynamic I/O Requests via Application Clustering for Burst-Buffer Equipped HPC},
author = {Benbo Zha and Hong Shen},
journal= {arXiv preprint arXiv:2210.07584},
year = {2022}
}