SOCpilot：验证 LLM 辅助事件响应中的政策合规性
密码学与安全
2026-05-08 v1
摘要
安全运营中心 (SOC) 开始使用大型语言模型 (LLM) 作为面板 drafting 事件响应计划。这些计划可能包括虽然符合目录中有效的行动，却仍违反强制步骤、所需顺序或分析师审查前的批准门槛的行动。SOCpilot 将此合规性问题在计划边界处可衡量。它固定事件软件包、行动目录、政策规则、验证器和公共证据表面。随后，它验证面板的 proposed 行动轨迹。我们在金融部门的案例研究中对两个 LLM 提供商在 200 个真实事件上的进行评估。我们将它们的计划与来自同一安全编排、自动化和响应 (SOAR) 案例的配对分析师作者参考进行比较。一个确定性的验证器在不降低基线任务召回率的前提下删除了 466 个非合规的、需要批准的行动。聚合率在固定语料库的 3 次重复实验中保持稳定。官方证据聚焦于关于恢复和隔离的批准决策。另外，此软件件暴露了针对强制性和排序修复的零成本就绪检查。我们发布可运行的软件件，因此独立审查者无需访问私人事件数据即可重新推导公共结果。
引用
@article{arxiv.2605.05501,
title = {SOCpilot: Verifying Policy Compliance for LLM-Assisted Incident Response},
author = {Sidnei Barbieri and Leonardo Vaz de Meneses and Ágney Lopes Roth Ferraz and Lourenço Alves Pereira Júnior},
journal= {arXiv preprint arXiv:2605.05501},
year = {2026}
}