LeftoverLocals：通过泄露的 GPU 本地内存监听 LLM 响应
密码学与安全
2024-01-31 v1 分布式、并行与集群计算
摘要
本文描述了 LeftoverLocals：一个允许从 Apple、Qualcomm 和 AMD GPU 上由另一进程创建的 GPU 内存中恢复数据的漏洞。LeftoverLocals 影响 GPU 应用程序的安全态势，尤其对在受影响 GPU 上运行的 LLM 和 ML 模型具有重要意义。通过恢复本地内存（一种优化的 GPU 内存区域），我们构建了一个概念验证（PoC），攻击者可以跨进程或容器边界监听另一个用户的交互式 LLM 会话（例如 llama.cpp）。
引用
@article{arxiv.2401.16603,
title = {LeftoverLocals: Listening to LLM Responses Through Leaked GPU Local Memory},
author = {Tyler Sorensen and Heidy Khlaaf},
journal= {arXiv preprint arXiv:2401.16603},
year = {2024}
}