迈向 AI 系统的跨层能效优化
机器学习
2024-08-07 v2 硬件体系结构
分布式、并行与集群计算
摘要
DOE 的“AI for Science, Energy, and Security”报告概述了对人工智能工作流进行开发和优化以对广泛的 DOE 任务产生基础性影响的重大关注。随着人工智能 (AI) 和机器学习 (ML) 工具与技术的普及，其能效很可能成为制约其采用的关键因素。这是因为生成式 AI (GenAI) 模型是巨大的耗能大户：例如，在 Amazon 训练一个 2000 亿参数的大型语言模型 (LLM) 估计需要 11.9 GWh，足以为一千多个普通美国家庭供电一年。推理消耗的能源更多，因为训练一次的模型要服务数百万次。鉴于这种规模，高能效是解决为 AI 工作负载构建和运营新型超级计算机与数据中心的电力输送问题的关键。在这方面，我们概述了软件和架构层面的研究挑战与机遇，为在 AI 系统中创建跨层能效优化奠定了基础。
引用
@article{arxiv.2404.06675,
title = {Toward Cross-Layer Energy Optimizations in AI Systems},
author = {Jae-Won Chung and Nishil Talati and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2404.06675},
year = {2024}
}
备注
2024 Energy-Efficient Computing for Science Workshop