评估 Google Cloud Run 上无服务器机器学习性能
分布式、并行与集群计算
2024-06-25 v1 操作系统
摘要
用户可以从无服务器平台获取函数即服务，这些平台承诺更低的托管成本、高可用性、容错性以及针对称为微服务的单个函数的动态灵活性。机器学习工具被认为是可靠有用的数据服务，正以规模化方式增长需求。无服务器平台特别适合托管这些机器学习服务以用于大规模应用。这些平台因其成本效益、容错性、资源扩展、健壮 API 以及全球覆盖范围而为人所知。然而，机器学习服务不同于 web 服务，因为这些无服务器平台最初是为托管 web 服务而设计的。我们旨在了解这些无服务器平台如何处理机器学习工作负载，故而进行了研究。我们检查了一种无服务器平台——Google Cloud Run 上的机器学习性能，该平台是一个没有 GPU 的基础设施，原本不为机器学习应用部署而设计。
引用
@article{arxiv.2406.16250,
title = {Evaluating Serverless Machine Learning Performance on Google Cloud Run},
author = {Prerana Khatiwada and Pranjal Dhakal},
journal= {arXiv preprint arXiv:2406.16250},
year = {2024}
}
备注
5 pages, 12 figures