运用人工智能驾驭超大规模计算工作流：Colmena 系统
分布式、并行与集群计算
2024-08-27 v1 机器学习
摘要
计算工作流是超级计算机上常见的应用类型，但其松耦合且异构的特性往往无法充分发挥其潜力。我们开发了 Colmena，通过人工智能 (AI) 从工作流执行过程中学习并进行自适应，以充分利用超级计算机的大规模并行能力。Colmena 允许科学家以系列协作智能体的方式定义其应用应对事件（如任务完成）的响应方式。本文介绍了 Colmena 的设计、在超大规模系统上部署应用时所克服的挑战，以及通过嵌入 AI 技术所提升的科学工作流。我们讨论的扩展挑战包括开发最大化节点利用率的驾驶策略、引入数据纤维以降低数据密集型任务的通信开销，以及实现在多次调用之间缓存昂贵操作的工作流任务。这些创新结合通过基于智能体的驾驶模型所提供的多种应用模式，使我们能够在化学、生物物理学和材料科学中实现科学进步，这些领域使用了不同类型的 AI。我们的愿景是，Colmena 将催生创造性解决方案，跨越众多科学计算领域，充分利用 AI 的优势。
引用
@article{arxiv.2408.14434,
title = {Employing Artificial Intelligence to Steer Exascale Workflows with Colmena},
author = {Logan Ward and J. Gregory Pauloski and Valerie Hayot-Sasson and Yadu Babuji and Alexander Brace and Ryan Chard and Kyle Chard and Rajeev Thakur and Ian Foster},
journal= {arXiv preprint arXiv:2408.14434},
year = {2024}
}