无服务器超级计算：面向科学的高性能函数即服务
分布式、并行与集群计算
2019-08-15 v1
摘要
不断增长的数据量与速度正推动各学科中令人振奋的新方法，其中数据分析与机器学习日益与研究交织。这些新方法需要科学计算的新途径，其中计算是可移动的，例如可发生在数据附近、由事件（如新数据到达）触发，或卸载至专用加速器。它们还需要新的设计方法，将单体应用分解为更小的组件，这些组件可分别执行于最高效的资源上。为满足这些需求，我们提出 funcX——一种高性能函数即服务（FaaS）平台，可在包括云、集群和超级计算机的现有基础设施上实现直观、灵活、高效、可扩展且高性能的远程函数执行。它允许用户注册并执行 Python 函数，而无需关心函数所执行物理资源位置、调度器架构或虚拟化技术——我们称之为“无服务器超级计算”。我们阐明了科学中对 funcX 的需求，描述了原型实现，并通过在两台超级计算机上的实验证明 funcX 可跨超过 65000 个并发 worker 处理数百万函数。我们还概述了部署 funcX 的五个科学场景，并强调了 funcX 在这些场景中的优势。
引用
@article{arxiv.1908.04907,
title = {Serverless Supercomputing: High Performance Function as a Service for Science},
author = {Ryan Chard and Tyler J. Skluzacek and Zhuozhao Li and Yadu Babuji and Anna Woodard and Ben Blaiszik and Steven Tuecke and Ian Foster and Kyle Chard},
journal= {arXiv preprint arXiv:1908.04907},
year = {2019}
}