通过意图操控探讨大型语言模型内容 moderation 警戒线的脆弱性
摘要
意图检测是自然语言理解的核心组件，已通过大幅度演进成为保障大型语言模型（LLM）的关键机制。尽管先前的工作已将意图检测应用于增强 LLM 的 moderation 警戒线，显示出对内容层面攻击的显著成功，但这些意图感知警戒线在恶意操控下的鲁棒性仍未得到充分探索。本文我们调查意图感知警戒线的脆弱性，表明 LLM 具备隐式意图检测能力。我们提出了两个阶段的意图基于提示优化框架 IntentPrompt，将有害查询转化为结构化提纲，再通过迭代优化提示并运用反馈循环将其重构为声明式叙事，以提升 red-teaming 的攻击成功率。广泛实验表明，我们的方法在四个公开基准和各种黑箱 LLM 上 consistently 优于几种最前沿的攻击方法，甚至能规避先进的意图分析（IA）和链式思考（CoT）防御。具体而言，我们的 "FSTR+SPIN" 变体在 o1 模型上对 CoT 防御的攻击成功率为 88.25% - 96.54%，在 GPT-4o 模型上对 IA 防御的攻击成功率为 86.75% - 97.12%。这些发现凸显了 LLM 安全机制的关键弱点，表明意图操控正成为内容 moderation 警戒线的日益严峻挑战。
关键词
引用
@article{arxiv.2505.18556,
title = {Exploring the Vulnerability of the Content Moderation Guardrail in Large Language Models via Intent Manipulation},
author = {Jun Zhuang and Haibo Jin and Ye Zhang and Zhengjian Kang and Wenbin Zhang and Gaby G. Dagher and Haohan Wang},
journal= {arXiv preprint arXiv:2505.18556},
year = {2025}
}
备注
Accepted for EMNLP'25 Findings. TL;DR: We propose a new two-stage intent-based prompt-refinement framework, IntentPrompt, that aims to explore the vulnerability of LLMs' content moderation guardrails by refining prompts into benign-looking declarative forms via intent manipulation for red-teaming purposes