基于神经模拟退火的高性能计算集群拓扑感知作业分配优化
分布式、并行与集群计算
2023-02-08 v1 人工智能
摘要
高性能计算（HPC）集群上的作业可能因作业间网络干扰而遭受显著的性能下降。拓扑感知作业分配问题（TJAP）正是决定如何将节点分配给特定应用以缓解作业间网络干扰的问题。本文研究胖树网络上面向通信跳数代价（一种定义的作业间干扰度量）最小化的基于窗口的 TJAP。该基于窗口的调度方法周期性地取出队列中的作业并求解将作业映射到可用节点的分配问题。考虑了两种特殊分配策略，即静态连续性分配策略（SCAS）与动态连续性分配策略（DCAS）。对于 SCAS，建立了 0-1 整数规划。对于 DCAS，提出了一种称为神经模拟算法（NSA）的方法，其为模拟算法（SA）的扩展，学习修复算子并在引导式启发式搜索中使用它们。通过对比 SA 与 SCIP 的计算研究证明了 NSA 的有效性。数值实验结果表明本文提出的模型与算法均有效。
引用
@article{arxiv.2302.03517,
title = {Optimization of Topology-Aware Job Allocation on a High-Performance Computing Cluster by Neural Simulated Annealing},
author = {Zekang Lan and Yan Xu and Yingkun Huang and Dian Huang and Shengzhong Feng},
journal= {arXiv preprint arXiv:2302.03517},
year = {2023}
}