LHC 上 CMS 实验分布式工作流管理代理的归档解决方案
高能物理 - 实验
2018-01-12 v1 数字图书馆
摘要
CERN LHC 上的 CMS 实验开发了工作流管理归档系统，以持久存储由分布式工作流管理代理产生的非结构化框架作业报告文档。本文中我们介绍其架构、实现、部署，以及与 CMS 和 CERN 计算基础设施（如中央 HDFS 和 Hadoop Spark 集群）的集成。该系统利用文档导向数据库和 Hadoop 生态系统等现代技术，提供所需的灵活性，以可靠地处理、存储和聚合每日 (1M) 量级的文档。我们描述了数据转换、短期与长期存储层、查询语言，以及为可视化各类性能指标而开发的聚合流水线，以协助 CMS 数据操作员评估 CMS 计算系统的性能。
引用
@article{arxiv.1801.03872,
title = {The archive solution for distributed workflow management agents of the CMS experiment at LHC},
author = {Valentin Kuznetsov and Nils Leif Fischer and Yuyi Guo},
journal= {arXiv preprint arXiv:1801.03872},
year = {2018}
}
备注
This is a pre-print of an article published in Computing and Software for Big Science. The final authenticated version is available online at: https://doi.org/10.1007/s41781-018-0005-0