面向间歇模型训练的能源感知去中心化学习
机器学习
2024-07-02 v1 分布式、并行与集群计算
摘要
去中心化学习 (DL) 提供了一种强大的框架，允许节点在不共享原始数据且无需中央服务器协调的情况下共同训练模型。在DL的迭代轮次中，模型在本地训练，与拓扑结构中的邻居共享，并与从邻居处接收的其他模型进行聚合。共享和合并模型有助于收敛到一个跨越训练时捕获的整体数据更具普适性的共识模型。此外，进行模型参数的共享和合并过程的能源消耗可以忽略不计，远低于训练阶段的能源消耗。利用这一事实，我们提出了一种新的DL算法——SkipTrain，通过战略性地跳过一些训练轮次并用同步轮次来代替，从而最小化去中心化学习中的能源消耗。这些训练沉默期除了节省能源外，还允许模型更好地混合，从而产生比典型在每个轮次都进行训练的DL算法更具准确性的模型。我们的实证评估在256个节点上表明，SkipTrain 比传统DL算法 D-PSGD 节省能源约50%，并将模型准确率提高最高可达12%。
引用
@article{arxiv.2407.01283,
title = {Energy-Aware Decentralized Learning with Intermittent Model Training},
author = {Akash Dhasade and Paolo Dini and Elia Guerra and Anne-Marie Kermarrec and Marco Miozzo and Rafael Pires and Rishi Sharma and Martijn de Vos},
journal= {arXiv preprint arXiv:2407.01283},
year = {2024}
}