基于自适应令牌借贷的去中心化带宽控制用于 HPC 存储
人工智能
2026-02-27 v1 神经元与认知
摘要
现代高性能计算(HPC)应用程序运行在计算资源上，但共享全局存储系统。这种设计可能导致当应用程序相对于其分配的计算资源消耗比例不成比例的存储带宽时出现问题。例如，单个计算节点运行的应用程序可发出大量小型随机写入，消耗存储服务器的过量 I/O 带宽。这会阻碍写入相同存储服务器的大型作业（分配了许多计算节点），导致显著资源浪费。一个直接的解决方案是在分配的计算资源比例上限制每个应用程序的 I/O 带宽，该方法已在并行文件系统中实现为令牌桶过滤器(TBF)。然而，严格的比例限制常常会降低整体 I/O 效率，因为 HPC 应用程序产生短暂、突发性的 I/O。限制带宽在应用程序空闲或防止应用程序在突发阶段临时使用更高带宽时会浪费服务器容量。我们认为 I/O 控制应在确保公平性（例如防止小型作业阻止大规模作业）的前提下，最大化每个应用程序的性能和整体存储效率。我们提出 AdapTBF，该方法在现代并行文件系统（如 Lustre）中的 TBF 基础上引入了基于自适应借贷和放贷的去中心化带宽控制方法。我们详细说明了算法，实现了 AdapTBF 在 Lustre 中的部署，并使用建模于真实世界情景的合成工作负载进行评估。结果表明，AdapTBF 在极端条件下仍能有效管理 I/O 带宽，同时保持高存储利用率。
引用
@article{arxiv.2602.22408,
title = {Exploring Human Behavior During Abstract Rule Inference and Problem Solving with the Cognitive Abstraction and Reasoning Corpus},
author = {Caroline Ahn and Quan Do and Leah Bakst and Michael P. Pascale and Joseph T. McGuire and Michael E. Hasselmo and Chantal E. Stern},
journal= {arXiv preprint arXiv:2602.22408},
year = {2026}
}