中文

巴巴尔实验中的分布式离线数据重建

分布式、并行与集群计算 2007-05-23 v1

摘要

斯拉克的巴巴尔实验已进入运行第四年。数据处理系统不断演化,以应对更高亮度运行和每年日益增加的待重处理数据的挑战。为实现这些目标,采取了两遍处理架构,即在第一遍中对少量事件快速计算“滚动标定”数据,随后在第二遍中进行大规模数据重建。这使得第一遍能够提供快速的探测器反馈,同时允许在两个或多个独立农场之间并行化第二遍的处理。这种两遍系统还允许将处理农场分布到现场之外。首个 Such 站点已在意大利天文物理国家研究院帕多瓦分院建立。此处面临的挑战众多。将软件移植到基于 Linux 的商业硬件系统上。利用 155 Mbps 的网络链路从斯拉克导入原始数据集(90 TB)。开发了数据质量控制和将处理后数据导出回斯拉克的系统。目前在帕多瓦与斯拉克之间运行着三台第一遍农场,每台 32 个 CPU,以及九台第二遍农场,每台 64 到 80 个 CPU。第二遍农场每天可处理 200 万至 400 万 事件。将呈现该系统的实现细节和性能数据。

关键词

引用

@article{arxiv.cs/0306069,
  title  = {Distributed Offline Data Reconstruction in BaBar},
  author = {Teela Pulliam and Peter Elmer and Alvise Dorigo},
  journal= {arXiv preprint arXiv:cs/0306069},
  year   = {2007}
}

备注

CHEP03 paper, MODT012