WfChef:科学工作流生成器的自动化精确构建
分布式、并行与集群计算
2021-05-04 v1 软件工程
摘要
科学工作流应用已成为主流,其在大规模计算平台上的自动化高效执行是广泛研究与开发的对象。要使这些工作取得成功,需要扎实的实验方法来评估工作流算法与系统。该方法论的基础是现实工作流实例的可用性。少数科学应用的几十个工作流实例可在公共存储库中获取。尽管这些实例极为宝贵,但它们存在局限:并非所有关注的应用规模都有工作流实例可用。为弥补这一局限,已有工作开发了可生成任意规模的合成但具代表性的工作流实例的生成器。这些生成器很受欢迎,但其实现是手动、劳动密集且需要应用专家知识的过程。因此,尽管数百个应用在生产中使用工作流,这些生成器仅面向少数应用。本文提出 WfChef,一个为任意科学应用全自动构建合成工作流生成器的框架。基于一组输入的工作流实例,WfChef 自动产出合成工作流生成器。我们定义并评估了若干用于量化生成工作流真实性的指标。利用这些指标,我们将 WfChef 生成器所生成工作流的真实性与先前可用的手工定制生成器进行比较。我们发现,WfChef 生成器不仅无需开发投入(因其自动产生),而且生成的工作流比手工定制生成器更为真实。
引用
@article{arxiv.2105.00129,
title = {WfChef: Automated Generation of Accurate Scientific Workflow Generators},
author = {Tainã Coleman and Henri Casanova and Rafael Ferreira da Silva},
journal= {arXiv preprint arXiv:2105.00129},
year = {2021}
}