通过 ADMM 高效通信改进隐私保护纵向联邦学习
机器学习
2024-04-09 v4 密码学与安全
摘要
联邦学习（FL）使分布式资源受限设备能在保持训练数据本地化以保隐私的前提下联合训练共享模型。纵向 FL（VFL）允许各客户端收集部分特征，近期吸引了大量研究投入。我们识别出已有 VFL 框架面临的主要挑战：服务器需为每个训练步骤与客户端通信梯度，产生高昂通信代价并导致隐私预算快速消耗。为应对这些挑战，本文引入一种多头部纵向联邦学习框架（VIM），其考虑各客户端的独立贡献，并将 VFL 优化目标高效分解为可由服务器与客户端各自迭代处理的子目标。具体而言，我们提出一种基于交替方向乘子法（ADMM）的方法求解该优化问题，使客户端在通信前可进行多次本地更新，从而降低通信代价并在差分隐私（DP）下获得更优性能。我们为框架提供用户级 DP 机制以保护用户隐私。此外，我们展示 VIM 的一个副产品是所学头部的权重反映了本地客户端的重要性。我们进行了广泛评估，表明在四个纵向 FL 数据集上，VIM 相比最先进方法取得显著更高性能与更快收敛。我们还显式评估了本地客户端的重要性，并展示 VIM 支持客户端级解释与客户端去噪等功能。希望本工作能为高效 VFL 训练与理解提供新思路。
引用
@article{arxiv.2207.10226,
title = {Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM},
author = {Chulin Xie and Pin-Yu Chen and Qinbin Li and Arash Nourian and Ce Zhang and Bo Li},
journal= {arXiv preprint arXiv:2207.10226},
year = {2024}
}
备注
IEEE Conference on Secure and Trustworthy Machine Learning (SaTML) 2024