联邦学习朝向隐私保护的发展：从联邦学习到分割学习
摘要
在分布式协作机器学习（DCML）范式中，联邦学习（FL）因其在医疗、金融以及工业 4.0 和智能车辆等最新创新中的应用而近期备受关注。FL 提供隐私保护设计。它在多个分布式客户端（从两个到数百万，如手机）上协作训练机器学习模型，而不与任何其他参与者共享其原始数据。在实际场景中，并非所有客户端都有充足的计算资源（例如物联网），机器学习模型具有数百万参数，且其训练/测试时服务器与客户端间的隐私是首要关注点（例如竞争方）。在这方面，FL 并不充分，因此引入了分割学习（SL）。SL 在这些场景中可靠，因为它将模型分割为多个部分，分配给客户端和服务器，并训练/测试各自的部分以完成完整模型的训练/测试。在 SL 中，参与者不向任何其他方共享数据及其模型部分，通常将较小的网络部分分配给驻留数据的客户端。近期，一种称为 splitfed 学习的 FL 与 SL 的混合被引入，以提升 FL（更快的训练/测试时间）和 SL（模型分割与训练）两者的益处。遵循从 FL 到 SL 的发展，并考虑 SL 的重要性，本章旨在对 SL 及其变体提供广泛覆盖。覆盖内容包括基础、现有发现、与差分隐私等隐私措施的集成、开放问题以及代码实现。
引用
@article{arxiv.2011.14818,
title = {Advancements of federated learning towards privacy preservation: from federated learning to split learning},
author = {Chandra Thapa and M. A. P. Chamikara and Seyit A. Camtepe},
journal= {arXiv preprint arXiv:2011.14818},
year = {2020}
}
备注
Authors' preprint version (before any peer-review) of a book chapter to appear in the Book series "Studies in Computational Intelligence", Book title "Federated Learning Systems: Towards Next-generation AI", Book eds. Muhammad Habib ur Rehman and Mohamed Medhat Gaber, Publisher "Springer Nature Switzerland AG Gewerbestrasse 11, 6330 Cham, Switzerland."