小型学院脉冲星搜索的低成本分布式计算方法
分布式、并行与集群计算
2007-05-23 v1
摘要
我们描述了一个由 Haverford College 天文系和计算机科学系联合开发的低成本 Linux 机器分布式处理集群，该集群已成功用于搜索近期射电脉冲星巡天的大量数据。射电脉冲星巡天的分析需要大量的计算资源，以满足苛刻的数据存储和处理需求。该项目的一个目标是探索在有限计算资源下处理大量脉冲星巡天数据时遇到的问题。该集群由受指导的本科生暑期研究学生在短短几周内开发并投入使用，利用了现有的退役计算机、校园网络以及基于脚本的、面向客户端的、自调度的数据分发方法来处理数据。该设置提供了简单性、高效率和低成本的“即时”可扩展性。使用该集群，整个 570 GB 的脉冲星巡天数据集在 Haverford 的一个为期十周的暑期期间内处理完毕。我们得出结论，在预算有限的情况下必须进行数据处理时，该集群可以作为一种有用的计算模型。我们还构建了一个原始巡天数据的 DVD 存档，以研究使用 DVD 作为脉冲星巡天廉价且易于访问的原始数据存储格式的可行性。基于 DVD 的存储在脉冲星界尚未得到广泛探索，但它具有几个优点。我们构建的 DVD 存档可靠、便携、廉价，并且可以由任何标准的现代机器轻松读取。
引用
@article{arxiv.cs/0407017,
title = {A Low Cost Distributed Computing Approach to Pulsar Searches at a Small College},
author = {Andrew Cantino and Fronefield Crawford and Saurav Dhital and John P. Dougherty and Reid Sherman},
journal= {arXiv preprint arXiv:cs/0407017},
year = {2007}
}
备注
Adapted from a talk given at the Eleventh SIAM Conference on Parallel Computing, February 25-27, 2004 in San Francisco, CA. 18 pages, including 3 figures and 2 tables