科学工作流碳感知执行的潜力系统评估

科学工作流对科学数据分析至关重要，通常涉及在计算集群上对大型数据集进行计算密集型处理。因此，其执行往往耗时且资源密集，导致显著的能源消耗和碳排放。虽然碳感知计算方法在通用云环境中已受到相当关注，但其在科学数据分析工作流中的应用仍是一个关键的研究空白。我们的研究通过展示如何利用科学工作流的延迟容忍性、可中断性和可扩展性来实现显著更可持续的执行模型，从而弥补了这一疏忽。在本研究中，我们首先量化了运行科学工作流相关的碳排放问题，然后展示了碳感知工作流执行的变革潜力。我们使用来自开放和商业数据提供商的高分辨率平均和边际电网碳强度数据，估算了在多种专用集群和公共云资源上执行的七个真实世界Nextflow工作流的碳足迹。此外，我们对碳感知的时间偏移以及工作流的动态暂停和恢复的影响进行了系统评估。并且，我们研究了在工作流和工作流任务层面进行资源缩放的影响。最后，我们报告了在整体碳排放方面可实现的显著潜在减排，其中时间偏移可减少超过80%的排放，资源缩放可减少67%。