FMI:面向无服务器函数的快速且廉价消息传递
分布式、并行与集群计算
2023-05-16 v1
摘要
无服务器函数提供弹性伸缩与细粒度计费模型,使函数即服务(FaaS)成为一种颇具吸引力的编程模型。然而,对于受益于大规模动态并行性的分布式作业而言,缺乏快速且廉价的通信是一大主要局限。我们克服了该局限并提出了FaaS消息接口(FMI)。FMI是一个易于使用、高性能的框架,用于FaaS应用中通用的点对点与集合通信。我们支持不同的通信通道,并提供依据性能与成本预期的模型驱动通道选择。我们参照MPI对接口建模,并表明消息传递可以极少改动集成到无服务器应用中,提供接近高性能系统所提供水平的可移植通信。在我们的实验中,FMI可将分布式机器学习FaaS应用的通信加速至多162倍,同时降低成本至多397倍。
引用
@article{arxiv.2305.08763,
title = {FMI: Fast and Cheap Message Passing for Serverless Functions},
author = {Marcin Copik and Roman Böhringer and Alexandru Calotoiu and Torsten Hoefler},
journal= {arXiv preprint arXiv:2305.08763},
year = {2023}
}
备注
Accepted at ICS' 23