面向松散耦合千万亿次编程的集体IO模型设计与评估

松散耦合编程是一种强大的范式，可在千万亿次系统上通过科学程序快速创建更高级别的应用，通常使用脚本语言。这种范式是多任务计算的一种形式，其重点是在程序之间以普通文件而非消息的形式传递数据。虽然它具有解耦生产者和消费者、允许现有应用程序无需重新编码即可并行执行的显著优势，但其使用共享文件系统的典型实现给整个系统以及分析和消费下游数据的用户带来了很高的性能负担。以往的工作在松散耦合程序上取得了巨大的加速，但这是通过仔细手动调整所有共享文件系统访问实现的。在这项工作中，我们评估了一个用于基于文件的多任务计算的集体IO模型原型。该模型能够高效且轻松地将输入数据文件分发到计算节点，并从中收集输出结果。它消除了对手动调整的需求，并使使用松散耦合模型对大规模集群进行编程变得更加容易。我们的方法受并行编程中集体操作的内存方法启发，构建在快速本地文件系统之上，为并行脚本提供高速本地文件缓存，使用广播方法处理通用输入数据的分发，并使用高效的分散/收集和缓存技术处理输入和输出。我们描述了该原型模型的设计、其在Blue Gene/P超级计算机上的实现，并展示了其在合成基准测试和大规模分子动力学应用上的初步性能测量结果。