通过统一 TEE 和加密加速器实现基于 Transformer 的 AI 执行安全
密码学与安全
2025-07-15 v2 机器学习
摘要
近期 Transformer 模型(如大型语言模型 LLM)的进展带来了诸多人工智能任务的重大突破，使其在众多安全关键领域得到广泛应用。由于其规模巨大且开发成本高昂，这些模型已成为 AI 利益相关方的高价值知识产权，并通过机器学习即服务(MLaaS)方式部署。然而，MLaaS 常在不可信的云端基础设施上运行，使数据和模型暴露于潜在 breach 的风险。主流保护机制依赖受信任执行环境(TEE)，通过硬件加密和完整性检查来保护机密数据。然而，在 TEE 中完全运行模型推理会受到显著的性能下降，尤其是 LLM 因其巨大的计算和内存占用而更为如此。近期研究表明，混合 TEE 方案将部分模型推理卸载至不可信加速器(如 GPU)是一条有前景的解决方案。然而，现有卸载方案无法确保数据和模型在 Transformer 推理中的双重保护，因而无法安全地卸载关键操作，即注意力和 SoftMax，迫使这些计算局限于 TEE 内。为此，我们提出了 TwinShield，一个支持异构 TEE 和加速器系统中安全 Transformer 推理的框架，实现对模型和数据的双重保护。TwinShield 将约 87% 的计算卸载至 GPU，在各种 Transformer 模型上实现 4.0 倍至 6.1 倍的加速。
引用
@article{arxiv.2507.03278,
title = {Securing Transformer-based AI Execution via Unified TEEs and Crypto-protected Accelerators},
author = {Jiaqi Xue and Yifei Zhao and Mengxin Zheng and Fan Yao and Yan Solihin and Qian Lou},
journal= {arXiv preprint arXiv:2507.03278},
year = {2025}
}
备注
15 pages