PoC-Gym：面向更可靠的 LLM 辅助 PoC 滥用生成
软件工程
2026-05-14 v2
摘要
最近，大型语言模型（LLM）被用于安全相关任务，包括生成证明概念（PoC）滥用。已提出多种 LLM 辅助方法；它们通常从漏洞描述生成 PoC，并使用额外的指导。然而，这些方法往往无效，因为用于验证的信号——如打印的标记、生成的文件或运行时副作用——可能并不意味着触发了漏洞。需要更可靠的 PoC 生成方法，但这仍然具有挑战性。我们提出 PoC-Gym，一个用于 Java 安全漏洞的 LLM 基于 PoC 生成管道。PoC-Gym 使用静态和动态信息，例如 CVE 定制提示、静态跟踪和覆盖率反馈，并迭代生成 PoC 候选方案。每个候选方案经过一系列验证：执行是否完整、是否表现出成功信号以及是否到达目标跟踪的 sink。我们使用 20 个 Java CVE 对 PoC-Gym 进行评估。在 338 次运行中，116 个候选方案通过 PoC-Gym 的运行时验证，65 个候选方案通过事后验证（针对 ground-truth 漏洞位置），覆盖 12 个 CVE。对于与 FaultLine 的 14 个 CVE 重叠情况，最强的 PoC-Gym 配置在事后验证中有效，但 FaultLine 在其原始评估准则下仅报告 5 个 CVE 成功。然而，鉴于 PoC 生成的复杂性，PoC-Gym 也会生成许多在运行时有效但事后无效的 PoC。为更好地理解如何实现更可靠的 PoC 生成，我们对此类 PoC 进行深入分析，确定了常见的失败来源。我们相信我们的工作为未来的研究提供了见解。
引用
@article{arxiv.2602.04165,
title = {PoC-Gym: Towards More Reliable LLM-Assisted Proof-of-Concept Exploit Generation},
author = {Derin Gezgin and Amartya Das and Shinhae Kim and Zhengdong Huang and Nevena Stojkovic and Claire Wang},
journal= {arXiv preprint arXiv:2602.04165},
year = {2026}
}