具有分布式探索的差分隐私联邦贝叶斯优化
机器学习
2021-10-28 v1 密码学与安全
摘要
贝叶斯优化（BO）最近通过联邦 Thompson 采样（FTS）算法扩展到联邦学习（FL）场景中，其在联邦超参数调优等方面具有广阔应用前景。然而，FTS 并未配备严格的隐私保证，而这是 FL 中的一个重要考量。近期工作通过将差分隐私（DP）引入深度神经网络训练的通用框架，将 DP 添加到迭代算法中。遵循该通用 DP 框架，本文工作将 DP 集成到 FTS 中以保护用户级隐私。我们还利用该通用 DP 框架处理不同参数向量的能力，以及 BO 的局部建模技术，通过分布式探索（DE）进一步提升算法的效用。所得到的带 DE 的差分隐私 FTS（DP-FTS-DE）算法在隐私和效用方面均具有理论保证，并有助于对隐私-效用权衡获得有趣的理论洞察。我们还通过真实世界实验表明，DP-FTS-DE 在强隐私保证（小隐私损失）下实现了高效用（具竞争力的性能），并引发了隐私与效用之间的权衡。
引用
@article{arxiv.2110.14153,
title = {Differentially Private Federated Bayesian Optimization with Distributed Exploration},
author = {Zhongxiang Dai and Bryan Kian Hsiang Low and Patrick Jaillet},
journal= {arXiv preprint arXiv:2110.14153},
year = {2021}
}
备注
Accepted to 35th Conference on Neural Information Processing Systems (NeurIPS 2021), Extended version with proofs and additional experimental details and results, 29 pages