CryptoGen：基于加密KV缓存重用的安全Transformer生成
密码学与安全
2026-02-16 v2
摘要
云托管生成模型的广泛部署带来一个根本性挑战：在不可信环境下实现高效自回归生成，同时保护用户提示和模型参数的隐私。我们在客户端-服务器环境中解决此挑战，其中不可信服务器托管自回归Transformer，客户端要求对输入和推理提供密码学保护。我们提出CryptoGen——首个实现可扩展隐私保护神经网络生成并支持持久化加密KV缓存重用的系统。已有鉴别任务安全推断系统在自回归解码适配时因缺乏原生加密KV缓存支持，导致推断延迟和内存增长呈二次形式。相比之下，CryptoGen通过安全重用和更新加密KV缓存实现近线性规模。CryptoGen集成同态加密和秘密共享，支持填充和生成。关键技术包括统一加密KV缓存框架、异构SIMD编码用于不同阶段、优化的仿射-仿射矩阵运算与矩阵向量运算、以及高效噪声刷新与密文拼接机制。在WikiText-2、PTB和LAMADA上评估的生成式Transformer模型显示，对于128-512长度的输入，CryptoGen相对于最新鉴别安全推断系统实现4.4倍至7.6倍的每token延迟降低，同时保持近线性延迟和内存规模，随序列长度增大优势提升。CryptoGen已开源发布。
引用
@article{arxiv.2602.08798,
title = {CryptoGen: Secure Transformer Generation with Encrypted KV-Cache Reuse},
author = {Hedong Zhang and Neusha Javidnia and Shweta Pardeshi and Qian Lou and Farinaz Koushanfar},
journal= {arXiv preprint arXiv:2602.08798},
year = {2026}
}