白皮书：使用 GCG 后缀进行数据外泄的简要探索
密码学与安全
2024-08-05 v1 人工智能
摘要
跨提示注入攻击（XPIA）是一种有效的数据外泄技术，正日益受到关注。在此攻击中，攻击者将恶意指令注入第三方数据，当 LLM 协助用户时，很可能消耗这些数据，用户即为受害者。XPIA 常被用作数据外泄手段，企业平均数据泄露成本近乎 450 万美元，包括受损企业凭证等泄露事件。随着梯度攻击如 GCG 后缀攻击的兴起，采用 GCG 后缀的 XPIA 发生的可能性令人担忧。作为微软 AI Red Team 工作的一部分，我演示了一个在模拟 XPIA 场景中结合 GCG 后缀的可行攻击模型。结果表明，GCG 后缀的存在可使数据外泄成功率提高近 20%，但也有一些局限。
引用
@article{arxiv.2408.00925,
title = {WHITE PAPER: A Brief Exploration of Data Exfiltration using GCG Suffixes},
author = {Victor Valbuena},
journal= {arXiv preprint arXiv:2408.00925},
year = {2024}
}
备注
8 pages, 8 figures. Conducted as part of employment at Microsoft Corporation