两人同行:Serverless 工作流通过双方参与资源适配
分布式、并行与集群计算
2025-02-21 v1
摘要
Serverless 平台通常采用早期绑定方式进行函数规模配置,要求开发人员在工作流中为每个函数预先指定不可变的大小。鉴于运行时可能出现的变动性,开发人员必须为确保满足服务水平目标 (SLOs) 的情况对函数进行最坏情况规模,从而导致资源效率显著降低。为解决此问题,本文提出了一种名为 Janus 的 Serverless 平台资源适应框架。Janus 采用晚期绑定方法,允许函数规模根据运行时条件进行动态调整。主要挑战在于开发人员与提供商之间存在信息壁垒:开发人员缺乏运行时信息,而提供商缺乏关于工作流程的领域知识。为桥接此 gap,Janus 允许开发人员提供包含资源适应规则和选项的提示信息。提供商据此在运行时根据实时函数执行信息动态调整资源分配,以确保符合 SLOs。我们实现了 Janus 并进行了大量实验,使用真实的 Serverless 工作流进行验证。结果表明,Janus 相较于最新方法可提升资源效率最高可达 34.7%。
引用
@article{arxiv.2502.14320,
title = {It Takes Two to Tango: Serverless Workflow Serving via Bilaterally Engaged Resource Adaptation},
author = {Jing Wu and Lin Wang and Quanfeng Deng and Chen Yu and Dong Zhang and Bingheng Yan and Fangming Liu},
journal= {arXiv preprint arXiv:2502.14320},
year = {2025}
}
备注
to be published in the 39th IEEE International Parallel & Distributed Processing Symposium (IPDPS)