科学工作流的底层I/O监控

虽然可以使用适当的工具在底层进行详细的资源使用监控，但将此类资源使用与应用层中实际导致资源使用的高级抽象相关联存在诸多挑战。假设使用分布式执行环境（如计算集群或云环境）运行大规模科学数据分析工作流，我们希望分析其I/O行为以发现并缓解潜在瓶颈。工作流的不同任务可以分配到任意计算节点，甚至可能共享同一计算节点。因此，局部观测到的资源使用并非直接与各个工作流任务相关联。通过获取所涉及节点的资源使用画像，我们试图将追踪数据与工作流及其各个任务相关联。为此，我们选择与底层追踪相关联的适当元数据集合，使其能够利用工作流执行的日志文件以及使用Kubernetes等任务编排器进行容器管理所获取的高级任务信息。确保适当的信息链可以在逻辑任务层面分类观测到的I/O，并可能揭示工作流中最具代价或最不高效、最值得优化的任务。