突发缓冲的细粒度策略驱动I/O共享
分布式、并行与集群计算
2023-06-21 v1
摘要
突发缓冲是弥合现代超级计算应用的I/O需求与大规模超级计算机上共享文件系统性能之间差距的常用方法。然而，现有的I/O共享方法需要资源隔离、离线剖析或重复执行，这显著限制了这些系统的利用率与适用性。在此我们提出ThemisIO，一种面向远程共享突发缓冲（一组专用的I/O节点，各带本地存储设备）的策略驱动I/O共享框架。ThemisIO通过实现机会公平性保持高利用率，从而将未使用的I/O资源重新分配给其他应用。ThemisIO准确高效地于应用间分配I/O周期，纯粹基于实时I/O行为，无需用户提供信息或离线剖析的应用特征。ThemisIO支持多种公平共享策略，如用户公平、大小公平以及复合策略（例如先组后用户公平）。其统计令牌设计实现了所有这些特性。ThemisIO可基于分配令牌改变到来I/O请求的执行顺序，通过时间片精确平衡应用间I/O周期，从而实施处理隔离。使用I/O基准的实验表明，与现有算法相比，ThemisIO保持高13.5–13.7%的I/O吞吐量与低19.5–40.4%的性能波动。对于真实应用，ThemisIO将I/O干扰导致的减速显著降低59.1–99.8%。
引用
@article{arxiv.2306.11615,
title = {Fine-grained Policy-driven I/O Sharing for Burst Buffers},
author = {Ed Karrels and Lei Huang and Yuhong Kan and Ishank Arora and Yinzhi Wang and Daniel S. Katz and William D. Gropp and Zhao Zhang},
journal= {arXiv preprint arXiv:2306.11615},
year = {2023}
}