Breaking the Layer Barrier: Remodeling Private Transformer Inference with Hybrid CKKS and MPC
音频与语音处理
2025-08-28 v1 声音
摘要
本文提出一种高效框架，用于保护数据隐私的私有Transformer推理，将Homomorphic Encryption（HE）和Secure Multi-party Computation（MPC）相结合。现有方法常在线性层（如矩阵乘法）上利用HE，在非线性层（如Softmax激活函数）上采用MPC，但HE/MPC之间的转换引入显著通信开销。所提出的BLB框架通过将层拆分为细粒度算子并进一步融合相邻线性算子，显著减少HE/MPC转换的需求。为管理融合线性算子导致的加密文密位宽增加，BLB提出首个在CKKS与MPC之间进行安全转换的协议，并实现CKKS对融合算子的计算。此外，BLB提出一种用于Transformer中融合计算的高效矩阵乘法协议。对BERT-base、BERT-large和GPT2-base进行大规模评估，表明BLB在通信开销上较BOLT（S&P'24）降低21倍，较Bumblebee（NDSS'25）降低2倍，在GPU加速下实现延迟分别降低13倍和1.8倍。
关键词
引用
@article{arxiv.2508.19528,
title = {FLASepformer: Efficient Speech Separation with Gated Focused Linear Attention Transformer},
author = {Haoxu Wang and Yiheng Jiang and Gang Qiao and Pengteng Shi and Biao Tian},
journal= {arXiv preprint arXiv:2508.19528},
year = {2025}
}
备注
Accepted by Interspeech 2025