HPC 系统上 Dask 与 Apache Spark 在神经影像中的性能比较

数据规模的增加和数据共享的促进动力Several scientific disciplines 推动了大数据策略的采用。然而，尽管有多种选择，但没有任何针对选择大数据引擎的具体指导方针。在本文中，我们比较了两种流行的大数据引擎Apache Spark和Dask在处理神经影像管道中的运行时性能。我们的实验使用三个 synthetic neuroimaging 应用程序处理 \SI{606}{\gibi\byte} BigBrain 图像，以及实际管道处理来自数千个解剖图像的数据。我们在运行 Lustre 文件系统的专用 HPC 集群上对这些应用程序进行基准测试，同时使用不同节点数、文件大小和任务持续时间的 varying 组合。我们的结果表明，尽管Dask和Spark之间存在细微差异，但两种引擎在数据密集型应用程序中的性能相当。然而，Spark所需的内存更多，这可能取决于配置和基础设施导致运行时间变慢。总体而言，限制因素是数据传输时间。尽管两种引擎都适合神经影像，但需要更多努力来减少数据传输时间和应用程序的内存占用。