我知道你说了：揭示本地大型语言模型推理中的硬件缓存侧信道
密码学与安全
2025-06-17 v3
摘要
最近，能够在本地部署的大型语言模型 (LLM)因其在隐私敏感任务中的潜力受到关注，Meta、Google 和 Intel 等公司在其开发中发挥着重要作用。然而，本地 LLM 通过硬件缓存侧信道的安全性尚未受到探讨。在本文中，我们揭示了本地 LLM 推理中的新型侧信道漏洞：token 值泄露和 token 位置泄露，这些漏洞可暴露受害者的输入和输出文本，从而损害用户隐私。具体而言，我们发现攻击者可从 token 嵌入操作的缓存访问模式中推断 token 值，借此从自回归解码阶段的时序中推断 token 位置。为展示这些漏洞的潜在影响，我们设计了一个针对开源和专有 LLM 推理系统的新型窃听攻击框架。该攻击框架无需直接与受害者的 LLM 交互即可执行，且无需特权。我们在一系列实际的本地 LLM 部署（如 Llama、Falcon 和 Gemma）上评估了该攻击，结果表明该攻击实现了令人满意的准确率。恢复的输出和输入文本分别相对于真实文本的平均编辑距离为5.2%和17.3%。此外，重建的文本在输入和输出上的平均余弦相似度分别为98.7%和98.0%。
引用
@article{arxiv.2505.06738,
title = {I Know What You Said: Unveiling Hardware Cache Side-Channels in Local Large Language Model Inference},
author = {Zibo Gao and Junjie Hu and Feng Guo and Yixin Zhang and Yinglong Han and Siyuan Liu and Haiyang Li and Zhiqiang Lv},
journal= {arXiv preprint arXiv:2505.06738},
year = {2025}
}
备注
Submitted for review in January 22, 2025, revised under shepherding