联邦学习碳足迹的初步考察
机器学习
2023-05-23 v6 分布式、并行与集群计算
摘要
尽管成果令人瞩目，基于深度学习的技术也引发了由常在数据中心进行的训练过程所带来的严重隐私与环境问题。作为应对，诸如联邦学习（FL）等集中式训练的替代方案已经出现。或许出乎意料，FL 正开始由必须遵从源自政府及倡导隐私保护的社会团体之新法律要求与政策的公司全球部署。然而，与 FL 相关的潜在环境影响仍不明确且未被探索。本文提供了首个关于 FL 碳足迹的系统性研究。首先，我们提出一个严格模型来量化碳足迹，从而便利地探究 FL 设计与碳排放间的关系。接着，我们将 FL 的碳足迹与传统集中式学习比较。我们的发现表明，依配置不同，FL 可比集中式机器学习多排放至多两个数量级的碳。但在某些设定下，由于嵌入式设备能耗降低，其可与集中式学习相当。我们在不同类型数据集、设定及多种深度学习模型上进行了广泛的 FL 实验。最后，我们将报告结果与 FL 中减少环境影响（包括算法效率、硬件能力和更强的行业透明度）的未来挑战与趋势相联系。
引用
@article{arxiv.2102.07627,
title = {A first look into the carbon footprint of federated learning},
author = {Xinchi Qiu and Titouan Parcollet and Javier Fernandez-Marques and Pedro Porto Buarque de Gusmao and Yan Gao and Daniel J. Beutel and Taner Topal and Akhil Mathur and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2102.07627},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2010.06537