Carbon Filter：基于大规模聚类与快速搜索的实时警报分流系统
密码学与安全
2024-05-09 v1 机器学习
摘要
"警报疲劳"是当今安全运营中心(SOC)面临的最大挑战之一，分析师花费超过一半时间审查误报警报。终端检测产品通过对事件遥测与描述潜在恶意行为的行为规则进行模式匹配来触发警报，但会产生高水平的误报，分散对实际攻击的注意力。虽然基于数据源 provenance 的警报分流技术显示出前景，但这些技术需要超过一分钟才能检查单个警报；而EDR客户每天可能面临数百万甚至上千万条警报；当前方法在生产环境中规模不足。我们提出了Carbon Filter，一种基于统计学习的系统，可显著减少分析师需要手动审查的警报数量。我们的做法基于这样一个观察：通过检查触发负责进程的进程启动上下文(例如命令行)可以有效识别并将误报警报与可疑行为分离。通过采用用于训练和推断的快速搜索算法，我们的方法能够处理数百万条警报每天。通过批量处理查询模型，我们观察到理论上最高的吞吐量可达每小时2000万条警报。基于来自客户部署的上千万条警报分析，我们的解决方案在不损害警报分流性能的前提下，将信号到噪声比率提高了6倍。
引用
@article{arxiv.2405.04691,
title = {Carbon Filter: Real-time Alert Triage Using Large Scale Clustering and Fast Search},
author = {Jonathan Oliver and Raghav Batta and Adam Bates and Muhammad Adil Inam and Shelly Mehta and Shugao Xia},
journal= {arXiv preprint arXiv:2405.04691},
year = {2024}
}