面向数据密集型科学的高效多站点数据移动：基于约束规划的方法

在过去的十年中，高能核物理实验正朝着分布式计算模型发展，以并行处理随时间增长的海量数据集。为了优化所有可用资源（地理上分散）并最小化处理时间，还必须面对高效数据传输和放置的问题。一个关键问题是，将数据移动到计算资源所需的时间代价是否值得预期的收益。面向真正的分布式任务调度，我们提出了一种使用约束规划（CP）的技术。该CP技术以最小化用户等待时间为目标，考虑所有具有不同特性（容量、共享和存储）的可用路径，调度来自多个资源的数据传输。我们引入了一个用于规划到单个目的地的数据传输（数据传输）的模型，以及其扩展用于最优数据集分布策略（数据放置）。我们将展示CP模型的求解器的若干增强功能，通过使用对称性破缺、分支剪枝、来自作业车间调度领域的成熟原理以及多种启发式方法，实现更快的调度计算时间。最后，我们将介绍一个旨在根据调度移动数据集的基石应用程序的设计与实现。结果将包括CP技术与来自仿真框架的点对点模型在性能上的比较和权衡，以及来自CP调度器实际使用的真实场景案例。