一种用于日志数据存储与分析的大数据架构
分布式、并行与集群计算
2018-12-04 v1 机器学习
摘要
我们提出了一种用于分析内网中超过10,000名用户及相关设备所涉及的多个数据库实例间数据库连接日志的架构。我们的系统使用Flume代理将通知发送至Hadoop分布式文件系统(Hadoop Distributed File System)进行长期存储,并使用ElasticSearch和Kibana进行短期可视化,从而有效创建用于提取日志数据的数据湖。我们采用集成多种方法的机器学习模型来过滤和处理数据中的指标,并旨在利用从该日志数据构建的特征向量预测异常或离群点。
引用
@article{arxiv.1812.00111,
title = {A Big Data Architecture for Log Data Storage and Analysis},
author = {Swapneel Mehta and Prasanth Kothuri and Daniel Lanza Garcia},
journal= {arXiv preprint arXiv:1812.00111},
year = {2018}
}