利用草图算法增强联邦学习的隐私性
机器学习
2019-11-06 v1 密码学与安全
网络与互联网体系结构
机器学习
摘要
针对日益增长的用户隐私担忧，联邦学习已成为一种有前景的工具，可在保持数据本地化的同时跨设备网络训练统计模型。联邦学习方法直接在用户设备上运行训练任务，且不向第三方共享原始用户数据。然而，现有方法仍会在训练过程中共享模型更新，其中可能包含隐私信息（例如一个人的体重和身高）。旨在改善联邦学习隐私的现有工作在一或多个以下关键方面做出妥协：性能（尤其是通信成本）、准确性或隐私。为更好地优化这些权衡，我们提出草图算法（sketching algorithms）具有独特优势，因其能在保持准确性的同时提供隐私和性能收益。我们通过一个在三种代表性学习模型上的原型评估了基于草图的联邦学习的可行性。我们的初步发现表明，有可能在不牺牲性能或准确性的前提下为联邦学习提供强隐私保证。我们的工作强调了在分布式环境中隐私与通信之间存在根本联系，并提出了围绕实用、隐私保护联邦学习的理论理解、方法论与系统设计的若干重要开放问题。
引用
@article{arxiv.1911.01812,
title = {Enhancing the Privacy of Federated Learning with Sketching},
author = {Zaoxing Liu and Tian Li and Virginia Smith and Vyas Sekar},
journal= {arXiv preprint arXiv:1911.01812},
year = {2019}
}