GraphWeaver:十亿级网络安全事件关联
密码学与安全
2024-06-05 v1 社会与信息网络
摘要
在大型企业网络安全的动态格局中,准确高效地将数十亿条安全告警关联成全面的事件是一项重大挑战。传统的关联技术通常在维护、扩展以及适应新兴威胁和新颖遥测源方面存在困难。我们介绍了GraphWeaver,一个工业级框架,它将传统的事件关联过程转变为一种数据优化、地理分布的基于图的方法。GraphWeaver引入了一系列创新,专门用于处理跨数十万家企业关联数十亿条共享证据告警的复杂性。这些创新中的关键包括:用于大规模数据处理的分布式数据库和PySpark分析引擎、用于优化关联存储的最小生成树算法、安全领域知识和威胁情报的集成,以及用于持续优化关键关联过程和参数的人机交互反馈系统。GraphWeaver已集成到Microsoft Defender XDR产品中并在全球部署,处理数十亿次关联,准确率达99%,这已通过客户反馈和安全专家的广泛调查得到证实。这种集成不仅保持了高关联准确率,还将传统关联存储需求降低了7.4倍。我们深入概述了GraphWeaver的关键设计和操作特性,开创了网络安全公司首次公开深入讨论这些关键能力的先例。
引用
@article{arxiv.2406.01842,
title = {GraphWeaver: Billion-Scale Cybersecurity Incident Correlation},
author = {Scott Freitas and Amir Gharib},
journal= {arXiv preprint arXiv:2406.01842},
year = {2024}
}