识别实现绿色机器学习服务的架构设计决策
机器学习
2024-02-13 v1 软件工程
摘要
大型机器学习模型的日益普及凸显了对其计算需求不断增长的担忧。虽然训练阶段的能耗已受到关注，但考虑推理阶段的工作较少。对于机器学习推理，将机器学习模型绑定到机器学习系统以供用户访问（称为机器学习服务）是实现机器学习应用效率的关键但尚未充分研究的步骤。我们审视了机器学习架构设计决策和绿色AI方面的文献，特别关注机器学习服务。目的是分析机器学习服务架构设计决策，以便从机器学习服务文献中研究人员和实践者的角度理解和识别它们与质量特征的关系。我们的结果（i）识别了机器学习服务架构设计决策及其相应的组件和相关技术栈，以及（ii）提供了文献中研究的质量特征概述，包括能效。这项初步研究是我们实现绿色机器学习服务目标的第一步。我们的分析可能有助于机器学习研究人员和实践者在服务其模型时做出绿色感知的架构设计决策。
引用
@article{arxiv.2402.07585,
title = {Identifying architectural design decisions for achieving green ML serving},
author = {Francisco Durán and Silverio Martínez-Fernández and Matias Martinez and Patricia Lago},
journal= {arXiv preprint arXiv:2402.07585},
year = {2024}
}
备注
Accepted for publication as short paper in Conference on AI Engineering Software Engineering for AI (CAIN 2024)