网络连接日志的异常检测
机器学习
2018-12-06 v1 分布式、并行与集群计算
机器学习
摘要
我们利用基于 ELK、Spark 和 Hadoop 的流式架构，以近实时方式收集、存储并分析数据库连接日志。所提出的系统使用无监督学习来探查离群点；采用广泛使用的日志数据聚类与分类算法，并通过离群点的可视化来凸显各模型间的细微差异。为实现对未标记、未过滤连接日志评估的新颖解决方案，我们提出了一种可外推至大型基础设施（包含数千个独立节点且每秒生成数百行日志）中连接日志通用分析系统的方法。
引用
@article{arxiv.1812.01941,
title = {Anomaly Detection for Network Connection Logs},
author = {Swapneel Mehta and Prasanth Kothuri and Daniel Lanza Garcia},
journal= {arXiv preprint arXiv:1812.01941},
year = {2018}
}