SecMoE：基于选取-计算的安全高效 MoE 推理
密码学与安全
2026-01-13 v1 人工智能
摘要
隐私保护的 Transformer 推理因潜在的私有信息泄露而受到关注。尽管近期取得的进展仍不足以满足实际模型规模，存在高达数十倍的差距。混合专家 (MoE) 架构作为一种以最小开销扩展模型容量的有前景技术，可能缩小这一差距。然而，鉴于当前安全双方 (2-PC) 协议允许服务器使用其明文模型权重对 FFN 层进行同态计算，在 MoE 设置下，这可能会暴露所激活的专家信息，泄露客户端输入的 token 级别隐私。虽然在选择前对所有专家进行求值可保护隐私，但这会消除 MoE 稀疏性并带来稀疏 MoE 所寻求的重型计算开销。为解决上述隐私和效率限制，我们提出一种 2-PC 隐私保护推理框架，SecMoE。统一 MoE 层和分段多项式函数中的每个条目电路，SecMoE 在电路中悄然选择提取的参数并仅计算一个加密条目，我们称之为选取-计算 (Select-Then-Compute)。这使得私有推理模型规模可扩展至 63 倍，仅增加 15.2 倍的端到端运行时间。广泛的实验表明，在 5 个专家设置下，SecMoE 将端到端私有推理通信降低 1.8~7.1 倍，相较于最新协议实现 1.3~3.8 倍的加速。
引用
@article{arxiv.2601.06790,
title = {SecMoE: Communication-Efficient Secure MoE Inference via Select-Then-Compute},
author = {Bowen Shen and Yuyue Chen and Peng Yang and Bin Zhang and Xi Zhang and Zoe L. Jiang},
journal= {arXiv preprint arXiv:2601.06790},
year = {2026}
}
备注
Accepted by AAAI 2026