基于 Spark 的 EAST 托卡马克实时数据访问日志分析系统
仪器与探测器
2018-06-25 v1
摘要
EAST 装置产生的实验数据越来越大，有必要对 EAST 上的 MDSplus 数据存储服务器进行监控。为便于对 MDSplus 服务器上的用户进行管理，需要一套实时监控日志分析系统。该日志分析系统采用的数据处理框架为 Spark 生态中的 Spark Streaming 框架，其实时流数据来源于 MDSplus 日志。该框架还利用了日志监控、聚合与分发等关键技术，结合 Flume、Kafka 等框架，使 MDSplus 海量日志数据处理成为可能。该系统可在秒级处理数千万条未处理的 MDSplus 日志信息，随后对日志信息建模并展示于 Web 端。本报告介绍了基于 Spark 的实时数据访问日志分析系统总体架构的设计与实现。实验结果表明，该系统性能稳定可靠，对聚变实验数据管理具有重要应用价值。该系统已完成设计，将在下一轮实验活动中采用，系统细节将在文中给出。
引用
@article{arxiv.1806.08489,
title = {Real time data access log analysis system of EAST tokamak based on spark},
author = {F. Wang and Q. H. Zhang and X. Y. Sun and Y. Chen and Y. T. Wang and F. Yang},
journal= {arXiv preprint arXiv:1806.08489},
year = {2018}
}
备注
4 pages