定义主机日志的度量空间及其运维用例

主机日志，尤其是 Windows 事件日志，是安全运营中心（SOC）常收集的宝贵信息源。主机日志的半结构化特性阻碍了自动化分析，尽管人工分析很常见，但海量数据使得人工检查所有日志是不可能的。尽管存在许多用于分析时间序列和序列数据的强大算法，但此类算法在大多数网络安全应用中的使用要么不可行，要么需要量身定制且研究密集的准备工作。特别是，需要提供对系统日志的广义且有意义的相似性度量的基本数学与算法发展，以弥合许多现有序列数据挖掘方法与该当前可用但未被充分利用的数据源之间的差距。在本文中，我们给出了 Windows 事件日志上度量积空间的严格定义，提供了一种嵌入，使得已建立的机器学习和时间序列分析方法得以应用。随后我们在真实数据上通过多个用例展示了该嵌入的效用与灵活性：（1）将已知受感染主机日志流与新主机日志流比较以进行检测与取证；（2）将相似日志流归并为语义上有意义的组（按用户、按角色），从而减少数据量而不损失内容；（3）对日志及短日志序列进行聚类，以识别并可视化随时间变化的用户行为与后台进程。总体而言，我们提供了一个尊重语义相似性且无需针对每类数据做特定准备即可支撑多种数据科学分析的主机日志及日志序列度量空间框架。