GradSafe：通过安全关键梯度分析检测LLM的越狱提示
计算与语言
2024-05-31 v2 密码学与安全
摘要
大型语言模型（LLM）面临越狱提示的威胁。现有的检测越狱提示的方法主要是在线审核API或微调的LLM。然而，这些策略通常需要大量且资源密集的数据收集和训练过程。在本研究中，我们提出了GradSafe，它通过仔细检查LLM中安全关键参数的梯度来有效检测越狱提示。我们的方法基于一个关键观察：对于与合规响应配对的越狱提示，LLM损失的梯度在某些安全关键参数上表现出相似的模式。相比之下，安全提示导致不同的梯度模式。基于这一观察，GradSafe分析来自提示（与合规响应配对）的梯度，以准确检测越狱提示。我们表明，GradSafe应用于Llama-2而无需进一步训练，在检测越狱提示方面优于Llama Guard，尽管后者使用大型数据集进行了大量微调。这种优越性能在零样本和适应场景中都是一致的，正如我们在ToxicChat和XSTest上的评估所证明的那样。源代码可在https://github.com/xyq7/GradSafe获取。
引用
@article{arxiv.2402.13494,
title = {GradSafe: Detecting Jailbreak Prompts for LLMs via Safety-Critical Gradient Analysis},
author = {Yueqi Xie and Minghong Fang and Renjie Pi and Neil Gong},
journal= {arXiv preprint arXiv:2402.13494},
year = {2024}
}
备注
Accepted to ACL 2024 Main