利用无服务器运行时的大规模优化算力
分布式、并行与集群计算
2019-01-11 v1 机器学习
最优化与控制
机器学习
摘要
无服务器（serverless）运行时的事件驱动与弹性特性，使其成为扩展计算的高效且具成本效益的替代方案。迄今，它们大多用于无状态、数据并行与短暂的计算。本工作中，我们提出使用无服务器运行时求解通用的、大规模优化问题。具体而言，我们利用 AWS Lambda 作为工作节点来源构建主—从设置，实现并行优化算法以求解正则化逻辑回归问题，并表明可预期相对于最多 256 个工作节点的最高加速比，以及在最多 64 个工作节点下高于 70% 的效率。我们也指出了可能的算法与系统级瓶颈，提出改进方案，并讨论了实现这些改进时的限制与挑战。
引用
@article{arxiv.1901.03161,
title = {Harnessing the Power of Serverless Runtimes for Large-Scale Optimization},
author = {Arda Aytekin and Mikael Johansson},
journal= {arXiv preprint arXiv:1901.03161},
year = {2019}
}
备注
9 pages, double column, 9 figures