中文

Nexflow工作流执行的全面插件式监控

分布式、并行与集群计算 2026-04-01 v1 性能

摘要

Nextflow是一种工作流管理系统,广泛用于生物信息学和地球观测等领域。它将各种工具协调为异步任务序列,同时使用容器化(如Docker)、编排(如Kubernetes)或批处理(如SLURM)。监控此类工作流执行具有挑战性,但有助于性能分析、调试和数据溯源。除了Nextflow内置的基本监控外,wf-commons工具用于创建wf-instances,被广泛认为是Nextflow社区的标准。我们开发的监控插件提供了一个更详细且灵活的替代方案,兼容wf-instances,同时通过使用Nextflow的插件机制(版本21.10)、可选的直接.jar文件静态工件更改(无需重新编译)来消除对自定义Nextflow分支的需求,并允许执行期间的在线监控。

关键词

引用

@article{arxiv.2603.28783,
  title  = {Comprehensive Plugin-Based Monitoring of Nexflow Workflow Executions},
  author = {Sami Kharma and Tobias Wies and Florian Schintke},
  journal= {arXiv preprint arXiv:2603.28783},
  year   = {2026}
}

备注

Accepted as poster to the SCA/HPC Asia 2026 Conference. The poster is provided as ancillary file