中文

PackVFL:面向垂直联邦学习的高效同态加密打包方案

密码学与安全 2024-05-02 v1 机器学习

摘要

基于同态加密 (HE) 的垂直联邦学习 (VFL) 因数据膨胀和耗时的运算而面临严重的效率问题。为此,我们提出 PackVFL,一个基于打包同态加密 (PackedHE) 的高效 VFL 框架,以加速现有基于 HE 的 VFL 算法。PackVFL 将多个明文打包为一个密文,支持单指令多数据 (SIMD) 风格的并行。我们 focus 于设计高性能矩阵乘法 (MatMult) 方法,因为它在 HE 基于 VFL 的密文计算中占据绝大比例。此外,设计 MatMult 方法也对 PackedHE 而言具有挑战性,因为轻微的打包方式差异会显著影响其计算和通信成本。缺乏针对性设计时,直接应用 SOTA MatMult 方法难以实现最优。因此,我们进行三方面的设计:1) 系统性地探索 MatMult 的当前设计空间并量化既有方法的复杂度以提供指导;2) 提出一种基于 VFL 独特特性的混合 MatMult 方法;3) 在代表性 VFL 算法中自适应应用混合方法,利用算法的独特特性进一步提升效率。随着 VFL 的批大小、特征维度和模型规模扩展至大规模,PackVFL 持续提供性能提升。实验表明,PackVFL 将现有 VFL 算法提升至新高度,实现了最高可达 51.52X51.52X 的端到端加速,这相当于比直接应用 SOTA MatMult 方法提升了 34.51X34.51X

关键词

引用

@article{arxiv.2405.00482,
  title  = {PackVFL: Efficient HE Packing for Vertical Federated Learning},
  author = {Liu Yang and Shuowei Cai and Di Chai and Junxue Zhang and Han Tian and Yilun Jin and Kun Guo and Kai Chen and Qiang Yang},
  journal= {arXiv preprint arXiv:2405.00482},
  year   = {2024}
}

备注

12 pages excluding references