面向应用无关能效的基于离线强化学习的功耗控制

能效已成为现代计算基础设施设计的重要组成部分，影响着生产系统的性能、成本、可扩展性和耐久性。CPU 设计中引入功率执行和传感能力正说明了这一点，使得系统软件能够在运行时主动监控和调整能耗与性能。虽然强化学习（RL）似乎是设计此类能效控制系统的理想选择，但在线训练面临诸多挑战，包括缺乏用于建立适当仿真环境的合适模型，以及若在实时系统上部署训练会带来的扰动（噪声）和可靠性问题。在本文中，我们讨论了使用离线强化学习作为自主 CPU 功耗控制器设计的替代方法，旨在运行时提高并行应用的能效，同时不过度影响其性能。离线 RL 通过利用在训练前从任意策略收集的状态转换数据集，避开了在线 RL 训练带来的问题。我们的方法将离线 RL 应用于能效的灰盒方法，结合了与应用无关的在线性能数据（如心跳信号）和硬件性能计数器，以确保在性能退化有限的情况下实现科学目标。通过在多种计算受限和内存受限的基准测试上评估我们的方法，并利用 Intel 的运行平均功率限制在实时系统上进行功耗控制，我们证明了这样一个离线训练的智能体能够以可容忍的性能下降为代价显著降低能耗。