联邦学习能否拯救地球?
机器学习
2021-04-08 v6
摘要
尽管取得了令人印象深刻的成果,基于深度学习的技术也因常在数据中心进行的训练过程而引发了严重的隐私与环境问题。作为回应,诸如联邦学习(Federated Learning, FL)等集中式训练的替代方案已经出现。或许出人意料的是,FL 尤其正开始由必须遵从来自政府及民间社会为保护隐私而制定的新法律要求与政策的公司进行全球范围的部署。然而,与 FL 相关的潜在环境影响仍不明确且未被探索。本文首次对 FL 的碳足迹进行了系统性研究。首先,我们提出一个严格的模型来量化碳足迹,从而便于研究 FL 设计与碳排放之间的关系。接着,我们将 FL 的碳足迹与传统集中式学习进行比较。我们的发现表明,尽管 FL 收敛较慢,但可以是一种比数据中心 GPU 更绿色的技术。最后,我们将报告的结果与 FL 中减少其环境影响的未来挑战与趋势相联系并着重指出,这些包括算法效率、硬件能力以及更强的行业透明度。
引用
@article{arxiv.2010.06537,
title = {Can Federated Learning Save The Planet?},
author = {Xinchi Qiu and Titouan Parcollet and Daniel J. Beutel and Taner Topal and Akhil Mathur and Nicholas D. Lane},
journal= {arXiv preprint arXiv:2010.06537},
year = {2021}
}
备注
Tackling Climate Change with Machine Learning workshop at NeurIPS 2020