Nexflow工作流执行的全面插件式监控
分布式、并行与集群计算
2026-04-01 v1 性能
摘要
Nextflow是一种工作流管理系统,广泛用于生物信息学和地球观测等领域。它将各种工具协调为异步任务序列,同时使用容器化(如Docker)、编排(如Kubernetes)或批处理(如SLURM)。监控此类工作流执行具有挑战性,但有助于性能分析、调试和数据溯源。除了Nextflow内置的基本监控外,wf-commons工具用于创建wf-instances,被广泛认为是Nextflow社区的标准。我们开发的监控插件提供了一个更详细且灵活的替代方案,兼容wf-instances,同时通过使用Nextflow的插件机制(版本21.10)、可选的直接.jar文件静态工件更改(无需重新编译)来消除对自定义Nextflow分支的需求,并允许执行期间的在线监控。
引用
@article{arxiv.2603.28783,
title = {Comprehensive Plugin-Based Monitoring of Nexflow Workflow Executions},
author = {Sami Kharma and Tobias Wies and Florian Schintke},
journal= {arXiv preprint arXiv:2603.28783},
year = {2026}
}
备注
Accepted as poster to the SCA/HPC Asia 2026 Conference. The poster is provided as ancillary file