在无规则算法中利用 Serverless 的固有弹性
分布式、并行与集群计算
2022-07-01 v1
摘要
Serverless 计算，特别是函数即服务（FaaS）执行模型，近来被证明对运行大规模计算行之有效。然而，针对具有不平衡且无规则负载的高度并行应用，鲜有关注。通常，由于无法提前预知计算资源，这类负载一直被排除在云之外，常导致严重的资源过度与不足配置。我们在本文中的核心见解是，serverless 计算技术的弹性与易管理性可首次成为在云中有效运行这些棘手负载的关键赋能因素。更具体地，我们证明借助简单的 serverless 执行器池抽象，可比基于大型 EC2 虚拟机构建的静态规模 Spark 集群实现更优的性价比。为支持此结论，我们评估了三种无规则算法：非平衡树搜索（UTS）、使用 Mariani-Silver 算法的 Mandelbrot 集，以及随机图上的介数中心性（BC）。例如，我们的 UTS serverless 实现在相同成本下可超越 Spark 达 55%。我们还表明，在 BC 算法中，serverless 环境使用相同数量虚拟 CPU 可超越大型 EC2 达 10%。这提供了首个具体证据，表明高度并行、无规则负载可使用纯无状态函数高效执行，且用户负担几乎为零，即用户无需理解非显而易见的系统级参数与优化。此外，我们展示 UTS 可受益于 FaaS 按量计费模型，这使得某些应用级优化首次值得启用，能以成本微增带来显著改进（如 41%）。
引用
@article{arxiv.2206.15321,
title = {Exploiting Inherent Elasticity of Serverless in Irregular Algorithms},
author = {Gerard Finol and Gerard París and Pedro García-López and Marc Sánchez-Artigas},
journal= {arXiv preprint arXiv:2206.15321},
year = {2022}
}
备注
14 pages, 9 figures