MLLess：在无服务器机器学习训练中实现成本效益
分布式、并行与集群计算
2022-06-14 v1
摘要
函数即服务（FaaS）引发了越来越多的关注，即如何“驯服”无服务器计算以支持数据密集型应用和机器学习（ML）等特定领域用例。近来，已有若干系统被实现用于训练 ML 模型。这些研究文章无疑是朝正确方向迈出的重要步伐。然而，它们并未完全回答一个恼人问题：相较于传统“有服务器”计算，无服务器 ML 训练何时更具成本效益。为此，我们提出 MLLess，一个构建于 IBM Cloud Functions 之上的基于 FaaS 的 ML 训练原型。为提升成本效益，MLLess 实现了两项针对无服务器计算特性定制的创新优化：一方面是一个显著性过滤器，使间接通信更高效；另一方面是一个缩容自动调谐器，通过利用 FaaS 亚秒级计费模型（通常每 100ms）来降低成本。我们的结果证实，对于稀疏逻辑回归和矩阵分解等具有快速收敛特性的稀疏 ML 模型，MLLess 可比有服务器 ML 系统快 15 倍且成本更低。此外，我们的结果显示 MLLess 可轻松扩展到日益庞大的无服务器工作节点集群。
引用
@article{arxiv.2206.05786,
title = {MLLess: Achieving Cost Efficiency in Serverless Machine Learning Training},
author = {Pablo Gimeno Sarroca and Marc Sánchez-Artigas},
journal= {arXiv preprint arXiv:2206.05786},
year = {2022}
}