Shabari:通过延迟决策实现更快、更高效的无服务器函数
分布式、并行与集群计算
2024-01-26 v2 机器学习
摘要
无服务器计算将开发者从资源管理的负担中解放出来,既为用户提供了易用性,也为提供商提供了优化资源利用率的机会。然而,当今的无服务器系统缺乏对函数调用的性能保证,从而限制了对性能关键型应用的支持:我们观察到严重的性能波动(高达6倍)。提供商缺乏对用户函数的可见性,因此难以对其进行合理配置:我们观察到严重的资源利用不足(高达80%)。为了理解性能波动和利用不足背后的原因,我们对常用部署的无服务器函数进行了测量研究,并了解到函数性能和资源利用率关键取决于函数语义和输入。我们的核心洞察是:将资源分配决策延迟到函数输入可用之后再进行。我们引入了Shabari,一个用于无服务器系统的资源管理框架,该框架尽可能晚地做出决策,以便为每次调用合理配置资源,从而满足函数的性能目标(SLO)并提高资源利用率。Shabari使用在线学习代理,根据函数输入的特征为每次函数调用进行合理配置,并做出感知冷启动的调度决策。对于一系列无服务器函数和输入,与包括Aquatope、Parrotfish和Cypress在内的最先进系统相比,Shabari在中位数情况下将SLO违规减少了11-73%,同时不浪费任何vCPU,并将浪费的内存减少了64-94%。
引用
@article{arxiv.2401.08859,
title = {Shabari: Delayed Decision-Making for Faster and Efficient Serverless Functions},
author = {Prasoon Sinha and Kostis Kaffes and Neeraja J. Yadwadkar},
journal= {arXiv preprint arXiv:2401.08859},
year = {2024}
}
备注
17 pages, 14 figures, update typo in manually entered arxiv title