中文

联邦学习:最新进展与应用的前沿综述

机器学习 2024-05-28 v3 人工智能 密码学与安全 分布式、并行与集群计算

摘要

通过利用海量数据并将计算任务分布到众多设备或服务器上,可以开发出鲁棒的机器学习(ML)模型。联邦学习(FL)是 ML 领域中的一种技术,它利用云基础设施实现去中心化设备网络间的协作模型训练,从而促成这一目标。除分布计算负载外,FL 同时致力于解决隐私问题并降低通信成本。为保护用户隐私,FL 要求用户发送模型更新而非传输大量原始且可能保密的数据。具体而言,各参与方使用自身数据在本地训练 ML 模型,然后以权重和梯度的形式将结果上传至云端,聚合成全局模型。该策略在带宽有限或通信成本高的环境中同样有利,因为它避免了大量数据的传输。随着数据量增长与隐私担忧加剧,以及大语言模型(LLM)等大规模 ML 模型的出现,FL 成为一种适时且相关的解决方案。因此,审视当前 FL 算法以指导满足快速演进 ML 需求的未来研究至关重要。本综述对最新 FL 算法进行了全面分析与比较,从数学框架、隐私保护、资源分配和应用等多方面进行评估。除总结现有 FL 方法外,本综述基于近期研究的性能报告与所用算法,指出了潜在空白、开放领域和未来挑战。本综述使研究者能轻易识别 FL 领域的现有局限,以供进一步探索。

关键词

引用

@article{arxiv.2310.05269,
  title  = {Federated Learning: A Cutting-Edge Survey of the Latest Advancements and Applications},
  author = {Azim Akhtarshenas and Mohammad Ali Vahedifar and Navid Ayoobi and Behrouz Maham and Tohid Alizadeh and Sina Ebrahimi and David López-Pérez},
  journal= {arXiv preprint arXiv:2310.05269},
  year   = {2024}
}