D0数据处理运行经验
分布式、并行与集群计算
2011-06-30 v1 人工智能
摘要
我们报告了在费米实验室Tevatron上D0实验的生产经验，使用了SAM数据处理系统，并配置了多种计算硬件、批处理系统和海量存储策略。我们已在费米实验室的Enstore海量存储系统中存储了超过300 TB的数据。我们通过该系统以平均每天超过2 TB的速率向分析程序提供数据，并通过智能缓存管理使消耗的数据量具有显著的倍增因子。我们在此系统中处理超过170万个文件，并在费米实验室的四种系统上向用户作业提供数据：重建农场、大型SMP系统、Linux批处理集群和Linux桌面集群。此外，我们还从全球6个站点导入模拟数据，并向更多站点的作业提供数据。我们描述了全球范围内数据处理的部署规模、该系统的运行经验以及这些经验的反馈。
引用
@article{arxiv.cs/0306114,
title = {D0 Data Handling Operational Experience},
author = {A. Baranovski and C. Brock and D. Bonham and L. Carpenter and L. Lueking and W. Merritt and C. Moore and I. Terekhov and J. Trumbo and S. Veseli and J. Weigand and S. White and K. Yip},
journal= {arXiv preprint arXiv:cs/0306114},
year = {2011}
}
备注
Talk from the 2003 Computing in High Energy and Nuclear Physics (CHEP03), La Jolla, Ca, USA, March 2003, 6 pages. PSN MOKT002