信任不再相信 AI：CIA 安全三角的提示注入
密码学与安全
2024-12-10 v1 人工智能
机器学习
摘要
CIA 安全三角 - 保密性、完整性和可用性 - 是数据和网络安全的基石。随着大型语言模型 (LLM) 应用的出现，一种新型威胁即已知的提示注入 (prompt injection) 于 2022 年被识别。此后，针对来自 OpenAI、Microsoft、Anthropic 和 Google 等领先厂商的生产 LLM 系统，已记录了大量实际漏洞和 exploit。本文基于作者的研究并公开记录的示例，综合了实际 exploit 和概念验证示例，展示了提示注入如何削弱 CIA 三角并在大范围内为网络安全和 AI 系统 posed 持续风险。
引用
@article{arxiv.2412.06090,
title = {Trust No AI: Prompt Injection Along The CIA Security Triad},
author = {Johann Rehberger},
journal= {arXiv preprint arXiv:2412.06090},
year = {2024}
}
备注
Based on research presented at Black Hat Europe 2024, Microsoft Bluehat 2024 and publications from embracethered.com