通过回收空闲资源加速无服务器计算
分布式、并行与集群计算
2022-02-18 v2 机器学习
摘要
无服务器计算实现了细粒度资源伸缩的自动化，并以无状态函数简化了在线服务的开发与部署。然而，由于函数类型、依赖关系和输入大小的多样性，用户仍难以分配合适的资源。资源分配配置不当会导致函数供给不足或过度供给，并造成持续的低资源利用率。本文提出 Freyr，一种面向无服务器平台的新资源管理器（RM），它通过动态将过度供给函数中的空闲资源回收并分配给供给不足的函数，从而最大化资源效率。Freyr 实时监控各函数的资源利用率，检测过度供给与供给不足，并借助深度强化学习算法与安全保障机制，学习安全地回收空闲资源并高效加速函数。我们已在 13 节点的 Apache OpenWhisk 集群中实现并部署了 Freyr 原型。实验结果表明，38.8% 的函数调用被 Freyr 回收了空闲资源，39.2% 的调用因回收资源而加速。与基线 RM 相比，Freyr 将函数第 99 百分位响应延迟降低了 32.1%。
引用
@article{arxiv.2108.12717,
title = {Accelerating Serverless Computing by Harvesting Idle Resources},
author = {Hanfei Yu and Hao Wang and Jian Li and Xu Yuan and Seung-Jong Park},
journal= {arXiv preprint arXiv:2108.12717},
year = {2022}
}
备注
Accepted by the ACM WebConf 2022