DEAL:联邦系统中的递减式能量感知学习
机器学习
2021-02-08 v1 分布式、并行与集群计算
摘要
联邦学习在电池供电设备上面临沉重的能耗负担。学习过程使所有设备保持唤醒以协作训练共享模型,耗尽昂贵的电池电量,且仍可能泄露敏感个人信息。系统内核模式中的传统能量管理技术可强制训练设备进入低功耗状态,但可能违反协作学习的服务等级目标(SLO)。为化解学习 SLO 与能效之间的冲突,我们提出 DEAL,一种通过递减式学习设计节能且保护隐私的高效学习系统。DEAL 从两层减少能耗:1) 优化层,筛选具备充足容量与最大回报的工人子集;2) 特定的递减式学习算法,主动提供递减与递增更新函数,使内核能正确调节本地 DVFS。我们在容器化服务中基于现代智能手机配置文件实现 DEAL 原型,并使用多个带真实轨迹的学习基准进行评估。我们观察到,相较于传统方法,DEAL 在不同数据集上减少 75.6%–82.4% 的能耗足迹。所有学习过程的模型收敛速度较当前最优 FL 框架快达 2–4 倍。
引用
@article{arxiv.2102.03051,
title = {DEAL: Decremental Energy-Aware Learning in a Federated System},
author = {Wenting Zou and Li Li and Zichen Xu and Chengzhong Xu},
journal= {arXiv preprint arXiv:2102.03051},
year = {2021}
}