从当下学习以面向未来:于利希LOFAR长期档案
天体物理仪器与方法
2024-06-07 v1
摘要
自2013年以来,于利希研究中心一直托管LOFAR档案的德国部分。它是德国最大的射电天文档案,目前存储近22 PB数据。未来的射电望远镜预计将需要大幅增加长期数据存储。在此,我们评估了于利希LOFAR数据档案的当前数据管理,描述了数据摄取、存储系统、向长期档案的导出以及请求链。我们分析了过去10年的数据可用性,并研究了底层数据访问模式和过程的能耗。我们确定了硬件相关的限制因素,如网络带宽和缓存池可用性与性能,以及软件方面,如工作流调整和参数调优,是主要的数据存储瓶颈。相比之下,从档案向用户提供数据的挑战在于从磁带档案中检索数据并进行暂存。基于此分析,我们建议如何在未来避免/缓解这些问题,并为未来更广泛的长期数据档案定义了需求。
引用
@article{arxiv.2406.03547,
title = {Learning from the present for the future: the Juelich LOFAR Long-term Archive},
author = {C. Manzano and A. Miskolczi and H. Stiele. and V. Vybornov and T. Fieseler and S. Pfalzner},
journal= {arXiv preprint arXiv:2406.03547},
year = {2024}
}
备注
15 pages, 6 figures, accepted by Astronomy & Computing