一种模块化且容错的数据传输框架
分布式、并行与集群计算
2009-09-29 v1
摘要
未来 ALICE 重离子实验的高层触发器（HLT）必须在数据写入永久存储之前，将其高达 25 GB/s 的输入数据速率降至最高 1.25 GB/s 的输出数据速率。为应对这些数据速率，正在设计一个可扩展至数千个节点的大型 PC 集群系统，并通过高速网络连接。对于将在这些节点上运行的软件，本文所述的一个灵活的数据传输与分发软件框架已被开发出来。该框架由一组可通过通用接口连接的独立组件构成。这使得可以为 HLT 构建不同的配置，甚至在运行时也可更改。为确保 HLT 的容错运行，该框架包含一个基本的故障转移机制，允许在发生故障后替换整个节点。利用框架组件接口的运行时重连特性，该机制将在未来得到进一步扩展。为了连接集群节点，使用了一个通信类库，该库对实际使用的网络技术和协议进行了抽象，以保持硬件选择的灵活性。它已经包含了针对 TCP 协议以及 SCI 网络适配器的两个可工作原型版本。无需修改框架的其他部分即可向该库添加扩展。已对该框架进行了广泛的测试和测量。本文还介绍了它们的结果以及从中得出的结论。性能测试显示该系统极具前景的结果，表明它能够满足 ALICE 在数据传输方面的要求。
引用
@article{arxiv.cs/0404014,
title = {A Modular and Fault-Tolerant Data Transport Framework},
author = {Timm M. Steinbeck},
journal= {arXiv preprint arXiv:cs/0404014},
year = {2009}
}
备注
Ph.D. Thesis, Ruprecht-Karls-University Heidelberg Large, 251 pages