LOFAR方向无关管线的可扩展性模型

LOFAR是一台领先的孔径综合望远镜，在荷兰运行，台站遍布欧洲。LOFAR两米巡天（LoTSS）将产生超过3000个14 TB的数据集，在低频段绘制整个北天。该巡天产生的数据对于理解星系的形成与演化、超大质量黑洞及其他天文现象至关重要。所有LoTSS数据都需要由LOFAR方向无关（DI）管线prefactor进行处理。理解该管线的性能对于优化大型项目（如LoTSS及其他深度巡天）的吞吐量非常重要。为其完成时间建模将使我们能够预测处理大型数据集所需的时间、优化参数选择、辅助调度其他LOFAR处理服务，并预测未来大型射电望远镜的处理时间。我们通过缩放若干参数（特别是CPU数量、数据大小和校准天空模型的大小）来测试prefactor管线。我们将这些结果呈现为一个综合模型，该模型将用于预测各种处理参数下的处理时间。我们还发现，较小的校准模型可显著缩短校准时间，而校准结果的质量并未显著下降。最后，我们验证了该模型，并将预测结果与过去六个月的生产运行进行比较，量化了在共享集群上处理所导致的性能损失。我们最后指出了这些结果和模型对LoTSS巡天、LOFAR整体以及其他望远镜的实用性。