您使用什么提示词？AI 助手的远程键记录攻击
密码学与安全
2024-03-18 v1 人工智能
计算与语言
摘要
AI 助手正逐渐成为社会不可或缺的一部分，用于询问关于个人和机密问题的建议或帮助。本文揭示了一种可用于读取 AI 助手网络加密响应的新型侧信道：token 长度侧信道。我们发现包括 OpenAI 和 Microsoft 在内的许多供应商都存在此侧信道。然而，仅凭 token 长度序列推断响应内容却颇具挑战，因为 token 类似于单词，响应可包含多句话，导致数以百万计的语法正确句子。本文展示了如何通过 (1) 利用大型语言模型 (LLM) 的强大功能进行翻译，(2) 为 LLM 提供跨句子上下文以缩小搜索空间，以及 (3) 通过对目标模型写作风格进行微调进行已知明文攻击来克服这一挑战。我们成功重建了 AI 助手 29% 的响应，并成功推断出 55% 的主题。为展示威胁，我们在 OpenAI 的 ChatGPT-4 和 Microsoft 的 Copilot 上进行了针对浏览器和 API 流量的攻击。
引用
@article{arxiv.2403.09751,
title = {What Was Your Prompt? A Remote Keylogging Attack on AI Assistants},
author = {Roy Weiss and Daniel Ayzenshteyn and Guy Amit and Yisroel Mirsky},
journal= {arXiv preprint arXiv:2403.09751},
year = {2024}
}