如何在联邦学习中私有地调优超参数？来自基准研究的见解
密码学与安全
2024-05-24 v2
摘要
本文解决了跨孤岛联邦学习（FL）中隐私保护超参数（HP）调优的问题。我们首先进行了一项全面的测量研究，对适用于FL的各种HP策略进行了基准测试。我们的基准测试表明，FL服务器的最优参数（例如学习率）可以基于每个客户端在其本地数据上找到的HP进行准确且高效的调优。我们证明HP平均适用于独立同分布（iid）设置，而基于密度的聚类可以在非独立同分布（non-iid）设置中发现最优参数集。然后，为了防止客户端本地HP交换导致的信息泄露，我们设计并实现了PrivTuna，一个使用多方同态加密进行隐私保护HP调优的新框架。我们使用PrivTuna实现了隐私保护的联邦平均和基于密度的聚类，并通过实验评估了其性能，展示了其计算/通信效率以及在超参数调优中的精度。
引用
@article{arxiv.2402.16087,
title = {How to Privately Tune Hyperparameters in Federated Learning? Insights from a Benchmark Study},
author = {Natalija Mitic and Apostolos Pyrgelis and Sinem Sav},
journal= {arXiv preprint arXiv:2402.16087},
year = {2024}
}