私有多任务学习：形式化及其在联邦学习中的应用
机器学习
2023-10-18 v3 密码学与安全
摘要
机器学习中的许多问题依赖于多任务学习（MTL），其目标是同时解决多个相关的机器学习任务。MTL 对于医疗、金融和物联网计算等敏感领域的隐私敏感应用尤为相关，在这些领域中，来自多个不同来源的敏感数据被共享以用于学习。在本文中，我们通过联合差分隐私（JDP）——差分隐私在机制设计与分布式优化中的松弛——形式化了 MTL 的客户端级隐私概念。随后，我们针对均值正则化 MTL（一种常用于个性化联邦学习的优化目标）提出了一种满足 JDP 的算法。我们分析了该目标与求解器，在隐私和效用两方面提供了可证明的保证。在实证中，我们发现相对于全局基线方法，我们的方法在常见联邦学习基准上提供了改进的隐私/效用权衡。
引用
@article{arxiv.2108.12978,
title = {Private Multi-Task Learning: Formulation and Applications to Federated Learning},
author = {Shengyuan Hu and Zhiwei Steven Wu and Virginia Smith},
journal= {arXiv preprint arXiv:2108.12978},
year = {2023}
}
备注
Accepted to TMLR. Transactions on Machine Learning Research (2022)