面向全球分布式计算基础设施的自省式动态模型

大型科学合作项目（如 ATLAS、Belle II、CMS、DUNE 等）涉及数百个研究机构和数千名研究人员分布在全球各地。这些实验产生的海量数据量预计不久将达到 exabyte 级别。因此，对计算和存储的需求日益增长，包括从原始数据到面向消费者的最终加工数据的数据处理、大规模蒙特卡罗仿真 campaign，以及各种终端用户分析。为管理这些计算和存储需求，实施了集中式工作流和数据管理系统。然而，关于数据放置和有效载荷分配的决策往往是分离的，并且通过启发式方法实现。采用更有效的启发式或 AI 驱动解决方案的一个重大障碍是缺乏一种快速可靠的自省式动态模型来评估和细化替代方案。本研究旨在开发此类交互式系统。通过examining PanDA 工作流管理系统的作业执行记录，我们确定了关键绩效指标，如排队时间、错误率以及远程数据访问的程度。该数据集涵盖五个月的活动。此外，我们正在创建一个生成式 AI 模型来模拟有效载荷的时间序列，这些时间序列包含可见特征（如类别、事件计数和提交组）以及隐藏特征（如从现有 PanDA 记录中推导出的总计算负载——来自计算站点的能力）。这些隐藏特征对于作业分配器（无论是启发式还是 AI 驱动）都是不可见的，但会影响排队时间和数据传输等因素。