DP-HYPE：分布式差分隐私超参数搜索
机器学习
2025-10-08 v2
摘要
在分布式机器学习中，对超参数的调谋对模型性能具有显著影响。当这些超参数在敏感数据上进行调谋时，隐私便成为一个重要挑战，差分隐私已成为提供可保证隐私的事实标准。分布式学习任务的标准设置是客户端就共享的设置达成一致，即从一组超参数（如模型的学习率）中找到一种妥协方案。然而，现有的差分隐私超参数调谋要么使用计算昂贵的加密协议，要么为每个客户端单独确定超参数，要么在本地应用差分隐私，这会导致不可取的实用性-隐私性权衡。本文提出了我们的算法 DP-HYPE，通过对客户端的局部超参数评估进行分布式投票来实现分布式且隐私保护的超参数搜索。如此一来，DP-HYPE 选择导致大多数客户端支持的妥协超参数，同时保持可扩展性和独立于特定学习任务的特性。我们证明了 DP-HYPE 保留了称为客户端级差分隐私的强差分隐私概念，并且，重要的是，展示了其隐私保证与超参数数量无关。我们也提供了实用性保证的界限，即达成妥协的概率，并将 DP-HYPE 实现为流行的 Flower 框架中的子模块用于分布式机器学习。此外，我们在多个基准数据集上进行评估，涵盖 iid 以及多种非 iid 设置，证明了即使在小隐私预算下，DP-HYPE 也具有高实用性。
引用
@article{arxiv.2510.04902,
title = {DP-HYPE: Distributed Differentially Private Hyperparameter Search},
author = {Johannes Liebenow and Thorsten Peinemann and Esfandiar Mohammadi},
journal= {arXiv preprint arXiv:2510.04902},
year = {2025}
}