通用工作流调度器接口：现状与未来计划
分布式、并行与集群计算
2023-11-28 v1
摘要
如今，来自遥感、天文学和生物信息学等不同领域的许多科学工作流在由资源管理器管理的大型计算基础设施上执行。科学工作流管理系统（SWMS）支持工作流执行并与基础设施的资源管理器通信。然而，SWMS 与资源管理器之间的通信因以下两点而复杂化：a) SMWS 与资源管理器之间接口不一致；b) 缺乏对工作流依赖关系和工作流特定属性的支持。为解决这些问题，我们开发了通用工作流调度器接口（CWSI），这是一个简单但功能强大的接口，用于在 SWMS 与资源管理器之间交换工作流相关信息，使资源管理器具备工作流感知能力。首个原型实现表明，采用简单但具备工作流感知的策略，CWSI 已能将完工时间（makespan）减少多达 25%。在本文中，我们展示了如何将现有的工作流资源管理研究集成到 CWSI 中。
引用
@article{arxiv.2311.15929,
title = {The Common Workflow Scheduler Interface: Status Quo and Future Plans},
author = {Fabian Lehmann and Jonathan Bader and Lauritz Thamsen and Ulf Leser},
journal= {arXiv preprint arXiv:2311.15929},
year = {2023}
}