FaaS还不够:对突发并行作业的无服务器处理
分布式、并行与集群计算
2024-07-22 v1
摘要
函数即服务(FaaS)在处理突发并行作业时面临困难,因为它需要多个独立的调用来启动作业。缺乏组调用原语使应用程序开发复杂化,并忽略了局部性和工作节点通信等关键方面。我们引入了一种专为突发并行作业设计的新型无服务器解决方案。与FaaS不同,我们的解决方案使用组调用原语确保作业级隔离,允许同时启动大量工作节点。这种方法通过将工作节点整合到更少的容器中来优化资源分配,加快其初始化速度并增强局部性。增强的局部性极大地减少了与FaaS相比的远程通信,并结合同时性,使工作节点能够通过消息传递和组集合操作进行同步通信。这使得在FaaS下不切实际的应用程序变得可行。我们在OpenWhisk上实现了我们的解决方案,提供了一个通信中间件,通过零拷贝消息传递高效地利用局部性。评估表明,与传统的FaaS相比,它减少了作业调用和通信延迟,使TeraSort速度提升2倍,PageRank的远程通信减少98.5%(速度提升13倍)。
引用
@article{arxiv.2407.14331,
title = {FaaS Is Not Enough: Serverless Handling of Burst-Parallel Jobs},
author = {Daniel Barcelona-Pons and Aitor Arjona and Pedro García-López and Enrique Molina-Giménez and Stepan Klymonchuk},
journal= {arXiv preprint arXiv:2407.14331},
year = {2024}
}
备注
14 pages, 11 figures, article preprint