中文

信任不可承受之重?AI 驱动的安全运营中心中可解释性的安全与认知影响度量

密码学与安全 2025-07-22 v2 人工智能 信息检索

摘要

可解释 AI(XAI)在增强安全运营中心(SOCs)中 AI 驱动的威胁检测的透明度和可信度方面具有重大前景。然而,确定适当的解释水平和格式,尤其是在要求在高压条件下快速决策的环境中,仍然是一个复杂且尚未充分探索的挑战。为了填补这一空白,我们进行了一项为期三个月的混合方法研究,结合了在线调查(N1=248)和深度访谈(N2=24),以考察(1)SOC 分析师如何理解 AI 生成的解释,以及(2)哪些类型的解释在不同分析师角色中被视为具有可操作性和可信度。我们的研究结果表明,当解释被认为是相关的且有证据支持时,参与者始终愿意接受 XAI 的输出,即使在预测准确率较低的情况下也是如此。分析师反复强调理解 AI 决策背后基本原理的重要性,表达了对上下文深度的强烈偏好,而非仅仅在仪表盘上展示结果。基于这些见解,本研究重新评估了安全情境下的当前解释方法,并证明与 SOC 工作流相契合的角色感知、上下文丰富的 XAI 设计可以大幅提高实用性。这种量身定制的可解释性增强了分析师的理解力,提高了分诊效率,并支持对不断演变的威胁做出更自信的响应。

关键词

引用

@article{arxiv.2503.02065,
  title  = {Too Much to Trust? Measuring the Security and Cognitive Impacts of Explainability in AI-Driven SOCs},
  author = {Nidhi Rastogi and Shirid Pant and Devang Dhanuka and Amulya Saxena and Pranjal Mairal},
  journal= {arXiv preprint arXiv:2503.02065},
  year   = {2025}
}

备注

13 pages, ACM Conference on Computer and Communications Security (CCS), 2025