面向通信效率与差分隐私的垂直联邦学习：基于零阶优化的 DPZV 框架
机器学习
2025-12-29 v3 人工智能
密码学与安全
分布式、并行与集群计算
摘要
垂直联邦学习（VFL）使跨特征分区设备的模型训练成为可能，但其依赖设备-服务器信息交换引入了显著的通信开销和隐私风险。下行通信暴露了全局损失的梯度相关信号，可被用于推理攻击。现有差分隐私（DP）方法通过在下行注入噪声，自然导致梯度质量下降、收敛减慢和通信轮数增加。本文提出DPZV：一种通信高效、具可调隐私保障的零阶VFL框架。基于零阶优化，DPZV在下行注入校准后的标量值DP噪声，显著降低方差放大，同时提供针对特定推理攻击的等效保护。通过严格的理论分析，我们证明DPZV的收敛性可与一阶DP-SGD相当，尽管仅依赖零阶估计器，并证明DPZV满足（ε,δ）-DP。大量实验表明，DPZV在严格隐私约束下（ε≤10）始终实现更优的隐私-效用权衡，并需更少的通信轮数。
引用
@article{arxiv.2502.20565,
title = {Communication-Efficient and Differentially Private Vertical Federated Learning with Zeroth-Order Optimization},
author = {Jianing Zhang and Evan Chen and Dong-Jun Han and Chaoyue Liu and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2502.20565},
year = {2025}
}