关于跨机构联邦学习中的隐私与个性化
机器学习
2022-10-18 v2 密码学与安全
机器学习
摘要
尽管差分隐私（DP）在跨设备联邦学习（FL）中的应用已被充分研究，但考虑 DP 及其对跨机构 FL 影响的工作仍然匮乏；跨机构 FL 的特征是客户端数量有限，而每个客户端包含众多数据主体。在跨机构 FL 中，通常的客户端级 DP 概念不太适用，因为现实世界的隐私法规通常关乎机构内（in-silo）的数据主体而非机构本身。在本工作中，我们转而考虑一种替代性的机构特定样本级 DP 概念，即各机构为其本地样本设定自身的隐私目标。在此设定下，我们重新审视个性化在联邦学习中的作用。特别地，我们表明均值正则化多任务学习（MR-MTL）——一种简单的个性化框架——是跨机构 FL 的强基线：在更强的隐私要求下，各机构受激励相互之间更多地联合以缓解 DP 噪声，从而相对于标准基线方法取得一致的改进。我们提供了对竞争方法的实证研究，以及对 MR-MTL 用于均值估计的理论刻画，凸显了隐私与跨机构数据异质性之间的相互作用。我们的工作旨在为私有跨机构 FL 建立基线，并指出该领域未来工作的关键方向。
引用
@article{arxiv.2206.07902,
title = {On Privacy and Personalization in Cross-Silo Federated Learning},
author = {Ziyu Liu and Shengyuan Hu and Zhiwei Steven Wu and Virginia Smith},
journal= {arXiv preprint arXiv:2206.07902},
year = {2022}
}
备注
NeurIPS 2022, 37 pages