X-Teaming 进化式 M2S:自动发现多轮到单轮越狱模板
计算与语言
2025-10-10 v3 人工智能
摘要
多轮转单轮 (M2S) 将迭代红队测试压缩为一个结构化提示,但以往工作依赖少量手动编写的模板。我们提出 X-Teaming Evolutionary M2S,一个通过语言模型引导的进化框架,用于发现和优化 M2S 模板。该系统将来自 12 个来源的智能抽样与受 StrongREJECT 启发的 LLM-as-judge 结合,记录完整可审计的日志。通过设置成功阈值为 维持选择压力,我们获得了五代进化、两个新的模板家族,以及在 GPT-4.1 上实现 44.8% 的整体成功率(230/103)。一个平衡的跨模型小组 2500 项试验(固定 judge)显示,结构性收益可转移但因目标而异;两个模型在同一阈值下得分为零。我们还发现提示长度与得分之间存在正相关,促使进行长度感知的判断。我们的结果表明,结构级搜索是获得更强单轮探针的可重复方法,强调了阈值校准和跨模型评估的重要性。代码、配置和制件均可在 https://github.com/hyunjun1121/M2S-x-teaming 获取。
引用
@article{arxiv.2509.08729,
title = {X-Teaming Evolutionary M2S: Automated Discovery of Multi-turn to Single-turn Jailbreak Templates},
author = {Hyunjun Kim and Junwoo Ha and Sangyoon Yu and Haon Park},
journal= {arXiv preprint arXiv:2509.08729},
year = {2025}
}
备注
NeurIPS 2025 Workshop on Lock-LLM