INFN-CNAF计算中心基于Elastic (ELK)套件的系统日志收集与统一化及原型分析服务
分布式、并行与集群计算
2021-06-07 v1 机器学习
计算物理
摘要
位于日内瓦的大型强子对撞机(LHC)高能物理实验的分布式网格基础设施包含一组遍布全球的 computing centres，作为全球LHC计算网格(WLCG)的一部分。在意大利，Tier-1功能由INFN-CNAF数据中心提供，该中心还为二十多个非LHC实验提供计算和存储资源。因此，每天从各种高度异构且难以统一化的来源收集大量日志。本文介绍了一个可运行的系统实现，该系统收集、解析并展示来自CNAF数据源的日志信息，并研究了基于机器学习(Machine Learning)的预测性维护系统。
引用
@article{arxiv.2106.02612,
title = {Collection and harmonization of system logs and prototypal Analytics services with the Elastic (ELK) suite at the INFN-CNAF computing centre},
author = {Tommaso Diotalevi and Antonio Falabella and Barbara Martelli and Diego Michelotto and Lucia Morganti and Daniele Bonacorsi and Luca Giommi and Simone Rossi Tisbeni},
journal= {arXiv preprint arXiv:2106.02612},
year = {2021}
}
备注
Submitted to proceedings of International Symposium on Grids & Clouds 2019 (ISGC2019)