Clover：面向可持续AI的碳感知机器学习推理服务
分布式、并行与集群计算
2023-09-04 v2
摘要
本文提出了一种缓解大规模机器学习（ML）推理服务托管所产生的碳排放挑战的解决方案。ML推理对现代技术产品至关重要，但也是碳足迹的重要来源。我们介绍了Clover，一个碳友好的ML推理服务运行时系统，它通过混合质量模型和GPU资源划分来平衡性能、准确率和碳排放。我们的实验结果表明，Clover能在保持高准确率并满足服务等级协议（SLA）目标的同时，有效大幅降低碳排放。
引用
@article{arxiv.2304.09781,
title = {Clover: Toward Sustainable AI with Carbon-Aware Machine Learning Inference Service},
author = {Baolin Li and Siddharth Samsi and Vijay Gadepally and Devesh Tiwari},
journal= {arXiv preprint arXiv:2304.09781},
year = {2023}
}