面向安全运营中心的基于机器学习工具的可用性评估
人机交互
2020-12-21 v1 密码学与安全
机器学习
摘要
大型研究和咨询公司Gartner预计,到2024年,80%的安全运营中心(SOC)将使用基于机器学习(ML)的解决方案来增强其运营。鉴于这种广泛采用,研究界识别并解决可用性问题至关重要。本工作展示了首个基于ML工具的现场可用性评估结果。在美国海军的支持下,我们利用国家网络靶场——一个配备最先进网络和用户仿真能力的大型物理隔离网络测试平台——研究了六名美国海军SOC分析师对两种工具的使用。我们的分析发现了若干严重的可用性问题,包括多次违反既定的用户界面设计可用性启发式原则。我们还发现分析师缺乏关于这些工具如何生成评分的清晰心智模型,导致对工具本身的不信任和/或误用。令人惊讶的是,我们发现分析师的教育水平或经验年限与他们在任一工具上的表现之间没有相关性,这表明先验背景知识或性格等其他因素在基于ML工具的使用中起着重要作用。我们的发现表明,基于ML的安全工具供应商必须重新聚焦于与分析师(无论经验丰富还是缺乏经验)合作,以确保其系统在真实世界安全运营环境中可用且有用。
引用
@article{arxiv.2012.09013,
title = {An Assessment of the Usability of Machine Learning Based Tools for the Security Operations Center},
author = {Sean Oesch and Robert Bridges and Jared Smith and Justin Beaver and John Goodall and Kelly Huffer and Craig Miles and Dan Scofield},
journal= {arXiv preprint arXiv:2012.09013},
year = {2020}
}