面向隐私保护多方线性回归的联邦坐标下降法
机器学习
2022-10-18 v3
摘要
分布式隐私保护回归方案已在各领域被提出并扩展，其中多方协作且私密地运行优化算法（如梯度下降）以学习一组最优参数。然而，传统基于梯度下降的方法无法求解含 L1 正则化目标函数的问题，例如 Lasso 回归。本文提出一种称为 FCD 的联邦坐标下降新分布式方案，以在多方可信场景下安全解决该问题。具体而言，通过安全聚合与添加扰动，我们的方案保证：(1) 本地信息不泄露给其他方；(2) 全局模型参数不暴露给云服务器。所添加扰动最终可由各方消除，从而导出高性能全局模型。我们表明 FCD 方案填补了多方安全坐标下降方法的空白，适用于一般线性回归，包括线性、岭与 lasso 回归。理论安全性分析与实验结果表明，FCD 可有效且高效地执行，并在真实世界 UCI 数据集的三类线性回归任务上提供与集中式方法一样低的 MAE 度量。
引用
@article{arxiv.2209.07702,
title = {Federated Coordinate Descent for Privacy-Preserving Multiparty Linear Regression},
author = {Xinlin Leng and Chenxu Li and Weifeng Xu and Yuyan Sun and Hongtao Wang},
journal= {arXiv preprint arXiv:2209.07702},
year = {2022}
}
备注
14 pages, 19 figures (Under review)