Kareus：大型模型训练中动态与静态能量的联合降低
机器学习
2026-01-27 v1 分布式、并行与集群计算
摘要
人工智能的计算需求正以前所未有的速度增长，但能源供应却未能跟上步伐。因此，能源已成为一种昂贵且存在竞争的资源，需要明确的管理和优化。尽管近期工作在大模型训练优化方面取得了显著进展，但它们仅关注能耗的单一层面：动态能耗或静态能耗。我们发现，细粒度的内核调度和频率缩放共同且相互依赖地影响着动态和静态能耗。基于这一发现，我们设计了Kareus，这是一个通过优化这两个方面来推动时间-能量权衡前沿的训练系统。Kareus将棘手的联合优化问题分解为局部的、基于分区的子问题。然后，它使用一种多遍多目标优化算法来寻找能够推动时间-能量权衡前沿的执行调度。与现有技术相比，Kareus在相同训练时间内最多可降低28.3%的训练能耗，或在相同能耗下最多可减少27.5%的训练时间。
引用
@article{arxiv.2601.17654,
title = {Kareus: Joint Reduction of Dynamic and Static Energy in Large Model Training},
author = {Ruofan Wu and Jae-Won Chung and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2601.17654},
year = {2026}
}