迈向科学工作流的高级监控

科学工作流由在涉及许多组件的分布式环境中执行的数千个高度并行化的任务组成。由于海量数据无法手动分析，因此需要自动追踪和调查组件和任务的性能指标、追踪和行为，以支持最终用户的抽象级别。科学工作流的执行和监控涉及许多组件，包括集群基础设施、其资源管理器、工作流以及工作流任务。这种执行环境中的所有组件访问不同的监控指标，并提供不同抽象级别的指标。来自不同组件的观察指标及其相互依赖关系的组合和分析仍然在很大程度上被忽视。我们指定了四个不同的监控层，它们可以作为科学工作流执行上下文中监控职责和组件交互的架构蓝图。我们描述了这四个层对应的不同监控指标以及这些层如何交互。最后，我们考察了五个最先进的科学工作流管理系统（SWMS），以评估需要哪些步骤来启用我们基于四层的方法。