将存储端点集成到 Rucio 数据湖中：作为 SKA 区域中心网络原型的一项活动
天体物理仪器与方法
2024-10-30 v2 分布式、并行与集群计算
摘要
平方公里阵列（SKA）基础设施将由两台射电望远镜组成，它们将是地球上最灵敏的望远镜。SKA 界将不得不处理和管理接近艾字节规模的数据，这将是未来几年的技术挑战。在这方面，SKA 全球区域中心网络在数据分发和管理中扮演关键角色。SRCNet 将提供分布式计算和数据存储能力，以及网络的其他重要服务。在 SRCNet 内，已组建若干团队来研究和设计开发 5 个原型。其中之一是有关数据管理和分发的原型，其中已使用 Rucio 部署了数据湖。在本文中，我们聚焦于若干团队为在 SKAO 数据湖中部署新存储端点所执行的任务。特别地，我们将描述在西班牙 SRC 原型中基于 StoRM 和 WebDAV 为 Rucio 数据湖提供新 Rucio 存储元素所需服务的步骤和部署说明。
引用
@article{arxiv.2303.07524,
title = {Integration of storage endpoints into a Rucio data lake, as an activity to prototype a SKA Regional Centres Network},
author = {Manuel Parra-Royón and Jesús Sánchez-Castañeda and Julián Garrido and Susana Sánchez-Expósito and Rohini Joshi and James Collinson and Rob Barnsley and Jesús Salgado and Lourdes Verdes-Montenegro},
journal= {arXiv preprint arXiv:2303.07524},
year = {2024}
}