利用 KumQuat 自动合成并行 Unix 命令与管道
编程语言
2021-08-24 v2 分布式、并行与集群计算
摘要
我们提出 KumQuat，一个用于自动生成 Unix shell 命令与管道的数据并行实现的系统。所生成的并行版本将输入流分片，执行原始管道命令的多个实例以并行处理这些分片，然后合并所得的并行输出以产生最终输出流。KumQuat 自动合成合并算子，其领域特定合并语言作为一种强正则化器，有助于高效推断正确的合并算子。我们在 70 个基准脚本上评估 KumQuat，这些脚本共包含 427 个阶段。KumQuat 为这些基准脚本中出现的 121 个唯一命令中的 113 个合成了正确的合并算子。合成时间在 39 秒至 331 秒之间，中位数为 60 秒。我们给出的实验结果表明，这些合并算子能够有效实现基准脚本的并行化。
引用
@article{arxiv.2012.15443,
title = {Automatic Synthesis of Parallel Unix Commands and Pipelines with KumQuat},
author = {Jiasi Shen and Martin Rinard and Nikos Vasilakis},
journal= {arXiv preprint arXiv:2012.15443},
year = {2021}
}