基于约束多目标联邦学习的 SecureBoost 超参数优化
机器学习
2024-04-09 v1 密码学与安全
摘要
SecureBoost 是一种树提升算法，它利用同态加密（HE）来保护纵向联邦学习中的数据隐私。SecureBoost 及其变体已被广泛应用于金融和医疗等领域。然而，SecureBoost 的超参数通常是在假设隐私已得到保障的情况下，单纯为优化模型性能（即效用）而启发式配置的。我们的研究发现，SecureBoost 及其部分变体仍然容易受到标签泄露的攻击。这种脆弱性可能导致 SecureBoost 当前的启发式超参数配置在效用、隐私和效率之间产生次优权衡，而这三者是构建可信联邦学习系统的关键要素。为了解决这个问题，我们提出了约束多目标 SecureBoost (CMOSB) 算法，旨在逼近 Pareto 最优解，其中每个解都是一组在效用损失、训练成本和隐私泄露之间实现最佳权衡的超参数。我们设计了这三个目标的测量方法，包括一种名为实例聚类攻击 (ICA) 的新型标签推理攻击，用于衡量 SecureBoost 的隐私泄露。此外，我们提供了两种针对 ICA 的对策。实验结果表明，在效用损失、训练成本和隐私泄露的权衡方面，CMOSB 产生的超参数优于通过网格搜索和贝叶斯优化得到的超参数。
引用
@article{arxiv.2404.04490,
title = {Hyperparameter Optimization for SecureBoost via Constrained Multi-Objective Federated Learning},
author = {Yan Kang and Ziyao Ren and Lixin Fan and Linghua Yang and Yongxin Tong and Qiang Yang},
journal= {arXiv preprint arXiv:2404.04490},
year = {2024}
}