面向自主渗透测试的推理优化：基于双阶段强化学习的 Pentest-R1
人工智能
2025-10-30 v2 机器学习
摘要
自动化渗透测试对于增强网络安全性至关重要，但当前的大型语言模型 (LLM) 在该领域面临诸多限制，包括差错处理不佳、推理效率低以及无法自主完成复杂的端到端任务。为此，我们引入 Pentest-R1，一个通过双阶段强化学习管道优化 LLM 推理能力的新型框架。我们首先构建了超过 500 个真实世界的多步骤 walkthrough 数据集，Pentest-R1 利用该数据集进行离线强化学习 (RL)，以灌输基础攻击逻辑。随后，在交互式 Capture The Flag (CTF) 环境中通过在线 RL 对 LLM 进行微调，使其直接从环境反馈中学习，发展出鲁棒的错误自我纠正和自适应策略。我们在 Cybench 和 AutoPenBench 等基准上的大量实验表明，该框架有效。 在 AutoPenBench 上，Pentest-R1 实现了 24.2% 的成功率，超越了大多数最先进模型，仅次于 Gemini 2.5 Flash。在 Cybench 上，它在无指导任务中取得了 15.0% 的成功率，开创了开源 LLM 的新型最佳性能，达到顶级专有模型的水平。消融研究确认，两个训练阶段的协同作用是其成功的关键。
引用
@article{arxiv.2508.07382,
title = {Pentest-R1: Towards Autonomous Penetration Testing Reasoning Optimized via Two-Stage Reinforcement Learning},
author = {He Kong and Die Hu and Jingguo Ge and Liangxiong Li and Hui Li and Tong Li},
journal= {arXiv preprint arXiv:2508.07382},
year = {2025}
}