迈向揭开无服务器机器学习的训练面纱
分布式、并行与集群计算
2021-05-18 v1 机器学习
摘要
无服务器(FaaS)的吸引力引发了关于如何将其用于 ETL、查询处理或机器学习(ML)等数据密集型应用的日益浓厚的兴趣。已有若干系统构建于无服务器基础设施（如 AWS Lambda）之上用于大规模 ML 模型训练，但就其性能及相对于“有服务器”基础设施(IaaS)的优势而言结果并不明确。本文中，我们对基于 FaaS 与 IaaS 的分布式 ML 训练进行了系统性比较研究。我们提出一个涵盖优化算法与同步协议等设计选择的设计空间，并实现了一个平台 LambdaML，以支持 FaaS 与 IaaS 间的公平比较。我们给出使用 LambdaML 的实验结果，并进一步建立解析模型以刻画选用无服务器基础设施时必须考量的成本/性能权衡。我们的结果表明，ML 训练仅在模型具有高效（即减少的）通信且快速收敛时，在无服务器上才划算。一般而言，FaaS 可能快得多，但从未显著便宜于 IaaS。
引用
@article{arxiv.2105.07806,
title = {Towards Demystifying Serverless Machine Learning Training},
author = {Jiawei Jiang and Shaoduo Gan and Yue Liu and Fanlin Wang and Gustavo Alonso and Ana Klimovic and Ankit Singla and Wentao Wu and Ce Zhang},
journal= {arXiv preprint arXiv:2105.07806},
year = {2021}
}