LLM，你可以评估它！面向安全运营中心的多视角报告评估设计

Hiroyuki Okada; Tatsumi Oba; Naoto Yanai

LLM，你可以评估它！面向安全运营中心的多视角报告评估设计

密码学与安全 2026-04-09 v4

作者: Hiroyuki Okada , Tatsumi Oba , Naoto Yanai

摘要

安全运营中心 (SOC) 常常产生针对安全事件的分析报告，大型语言模型 (LLM) 很快将被用于此类任务。我们认为，更深入地了解资深分析师如何评估报告，包括他们的反馈意见，能够帮助在 SOC 中生成更好的分析报告。本文旨在利用 LLM 进行分析报告。为此，我们首先通过文献综述和与 SOC 实践者的用户研究，构建了反映 SOC 从业者对分析报告评估意见的分析师级检查清单。随后，我们设计了一种新颖的 LLM 基于概念框架，命名为 MESSALA，通过进一步引入两种新技术（粒度细化指南和多视角评估），以实现最大化报告评估并提供来自资深 SOC 从业者感知的反馈。当我们使用 MESSALA 进行大规模实验时，MESSALA 的评估结果与资深 SOC 从业者的评估结果最为接近，而与现有 LLM 基于方法相比则更为接近。我们随后展示了两个关键见解。我们还使用 MESSALA 进行定性分析，然后确定 MESSALA 可以提供改进分析报告所必需的可操作性项目。

关键词

大型语言模型安全运营中心报告评估多视角评估分析报告 SOC 从业者

引用

@article{arxiv.2601.03013,
  title  = {LLMs, You Can Evaluate It! Design of Multi-perspective Report Evaluation for Security Operation Centers},
  author = {Hiroyuki Okada and Tatsumi Oba and Naoto Yanai},
  journal= {arXiv preprint arXiv:2601.03013},
  year   = {2026}
}

LLM，你可以评估它！面向安全运营中心的多视角报告评估设计

摘要

关键词

引用

相关论文