科学工作流系统开发中挑战的实证调查
软件工程
2025-06-26 v2
摘要
科学工作流系统（SWSs）是先进的软件框架，通过编排复杂的计算任务和管理庞大的数据管道来驱动现代研究。这些系统提供了一系列基本功能，包括模块化、抽象、互操作性、工作流组合工具、资源管理、错误处理和全面的文档。利用这些框架加速了科学计算的发展，带来了更高效、可复现的研究成果。然而，开发一个用户友好、高效且适应性强的 SWS 面临着诸多挑战。本研究通过对 Stack Overflow (SO) 和 GitHub 上交互的深入分析，探讨了这些挑战，这两个关键平台是开发者和研究人员讨论与解决问题的地方。特别是，我们利用主题建模（BERTopic）来理解 SWS 开发者在这些平台上讨论的主题。我们在 SO 上识别出 10 个开发者讨论的主题（例如，工作流创建与调度、数据结构与操作、工作流执行），并发现工作流执行最具挑战性。通过分析 GitHub issues，我们识别出 13 个主题（例如，错误与 Bug 修复、文档、依赖项），并发现数据结构与操作最为困难。我们还发现了 SO 和 GitHub 之间的共同主题，如数据结构与操作、任务管理和工作流调度。此外，我们按类型（How、Why、What 和 Others）对每个主题进行了分类。我们观察到 How 类型在所有主题中始终占据主导地位，表明开发者需要流程指导。How 类型的主导地位在聊天机器人和移动开发等领域也很明显。我们的研究将为未来研究提出工具和技术提供指导，以帮助社区克服开发者在开发 SWSs 时面临的挑战。
引用
@article{arxiv.2411.10890,
title = {An Empirical Investigation on the Challenges in Scientific Workflow Systems Development},
author = {Khairul Alam and Banani Roy and Chanchal K. Roy and Kartik Mittal},
journal= {arXiv preprint arXiv:2411.10890},
year = {2025}
}
备注
58 pages