分布式与联邦边缘学习的能耗与碳足迹分析框架
机器学习
2021-11-15 v1 分布式、并行与集群计算
摘要
分布式学习的最新进展引发了环境担忧，因为训练和向数据中心传输数据需要大量能源。联邦学习（FL）等新颖范式适用于跨设备或数据孤岛的去中心化模型训练，这些设备或数据孤岛同时充当数据生产者和学习者。与依赖位于高能耗数据中心的大数据融合与分析的集中式学习（CL）技术不同，在FL场景中，设备协作训练其模型而无需共享其私有数据。本文分解并分析了影响FL策略环境足迹相较于运行在数据中心中的经典CL/大数据算法的主要因素。所提出的分析框架同时考虑了学习与通信能耗成本，以及碳当量排放；此外，它对由共识驱动的朴素与去中心化FL策略均进行了建模。该框架在一个假定真实机器人化工作场的工业环境中进行了评估。结果表明，对于比特/焦耳效率较低（50 kbit/Joule或更低）的无线系统，FL可实现显著的端到端节能（30%-40%）。共识驱动的FL不需要参数服务器，并进一步降低了网状网络中的排放（200 kbit/Joule）。另一方面，当本地数据分布不均时，所有FL策略收敛更慢（通常比CL慢2倍）。能耗足迹与学习损失可进行权衡以优化效率。
引用
@article{arxiv.2103.10346,
title = {A Framework for Energy and Carbon Footprint Analysis of Distributed and Federated Edge Learning},
author = {Stefano Savazzi and Sanaz Kianoush and Vittorio Rampa and Mehdi Bennis},
journal= {arXiv preprint arXiv:2103.10346},
year = {2021}
}
备注
The work has been submitted to the IEEE for possible publication