Zeus：理解与优化DNN训练的GPU能耗
机器学习
2022-10-03 v2 人工智能
分布式、并行与集群计算
摘要
训练深度神经网络(DNNs)逐年变得日益耗费资源和能源。遗憾的是，现有工作主要聚焦于优化DNN训练以更快完成，往往未考虑对能效的影响。本文中，我们观察到提升训练性能的常见做法常导致能源使用低效。更重要的是，我们证明了能耗与性能优化之间存在权衡。为此，我们提出Zeus，一个通过自动为重复性DNN训练任务寻找最优作业级和GPU级配置来驾驭该权衡的优化框架。Zeus采用在线探索—利用方法并结合即时能耗分析，避免昂贵的离线测量需求，同时随时间适应数据漂移。我们的评估表明，Zeus可使多种工作负载的DNN训练能效提升15.3%–75.8%。
引用
@article{arxiv.2208.06102,
title = {Zeus: Understanding and Optimizing GPU Energy Consumption of DNN Training},
author = {Jie You and Jae-Won Chung and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2208.06102},
year = {2022}
}
备注
NSDI 2023 | Homepage https://ml.energy/zeus