HyProv：科学工作流的混合版 provenance 管理

版源在科学工作流执行中发挥着重要作用，例如通过为故障分析、实时监控或资源利用统计提供数据，以实现 Right-sizing 分配。然而，工作流本身在组件参与方面日益复杂。此外，它们在分布式集群基础设施上执行，使得实时 collection、integration 和 analysis of 版源数据具有挑战性。现有的版源系统在可扩展性、实时处理、在线版源分析和跨不同组件和计算资源的 integration 之间难以达到平衡。而且，大多数版源解决方案不够工作流感知；通过关注任意工作负载，它们错失了在工作流系统中利用工作流规范的机会——该规范在一定程度上决定任务执行顺序，并在逻辑层面提供物理任务的抽象。在本文中，我们提出了 HyProv，一种混合版源管理系统，将集中式和联邦范式结合起来，为工作流版源痕迹提供可扩展、在线且工作流感知的查询。HyProv 使用用于高效管理小型且稳定的工作流规范特定版源的集中组件，并通过对不同可扩展监控和版源数据库进行联邦查询来处理大规模执行日志。这实现了对当前执行数据的低延迟访问。此外，该设计支持复杂的版源查询，我们以 Airflow 工作流系统结合 Kubernetes 资源管理器为例进行演示。我们的实验表明，HyProv 能够扩展到大型工作流，能够以亚秒延迟回答版源查询，并且仅对集群添加有限的 CPU 和内存开销。