联邦学习的碳追踪模型：量化与稀疏化的影响
信号处理
2024-05-27 v2 机器学习
摘要
联邦学习（FL）方法采用高效的通信技术将机器学习任务分布到边缘设备上，与集中式方案相比降低了数据存储与计算复杂度方面的开销。FL 不将大量数据从生产者（传感器、机器）传输至高能耗的数据中心——后者因资源需求引发环境问题——而是提供了一种替代方案，在支持新型人工智能物联网（AIoT）应用的同时缓解若干学习任务的能源需求。本文提出一个用于实时监测 FL 系统能源与碳足迹影响的框架。该碳追踪工具针对共识（完全去中心化）与经典 FL 策略进行了评估。我们首次从不同计算与通信高效 FL 方法的能耗与碳当量排放角度给出定量评估，并提出了面向节能设计的一般性准则。结果表明，当通信能效较低（即 < 25 Kbit/Joule）时，应优先采用共识驱动的 FL 实现以限制碳排放。此外，量化与稀疏化操作被证明能在学习性能与能耗之间取得平衡，从而实现可持续的 FL 设计。
引用
@article{arxiv.2310.08087,
title = {A Carbon Tracking Model for Federated Learning: Impact of Quantization and Sparsification},
author = {Luca Barbieri and Stefano Savazzi and Sanaz Kianoush and Monica Nicoli and Luigi Serio},
journal= {arXiv preprint arXiv:2310.08087},
year = {2024}
}
备注
accepted for presentation at IEEE CAMAD 2023