面向神经成像应用的用户空间分层存储管理
分布式、并行与集群计算
2024-04-18 v1
摘要
神经成像开放数据计划导致大规模科学数据集的可获得性增加。虽然这些数据集正将处理瓶颈从计算密集型转向数据密集型，但当前标准化的分析工具尚未采用能缓解大规模数据传输成本的策略。神经成像应用程序为数据密集型处理做出适应性改革的主要挑战在于，它们必须被完全重写。为促进标准化神经成像工具的数据管理，我们开发了Sea——一个拦截和重定向应用程序读写调用的库，以最小化数据传输时间。本文调查了Sea在三个预处理管道(使用标准工具箱 FSL、SPM 和 AFNI)上的性能，这些管道使用来自三个不同规模的神经成像数据集(OpenNeuro 的 ds001545、PREVENT-AD 和 HCP 数据集)在两个高性能计算集群上进行测试。我们的结果表明，当共享文件系统（如 Lustre）性能受损时，Sea 可提供显著的加速(最高可达32倍)。当共享文件系统未因其他用户而过度负载时，Sea的性能不受其影响，这表明即使在其收益有限的情况下，Sea的开销也很小。总体而言，Sea是有益的，即使性能提升有限，它也可以用于限制平行文件系统上创建的文件数。
关键词
引用
@article{arxiv.2404.11556,
title = {Hierarchical storage management in user space for neuroimaging applications},
author = {Valérie Hayot-Sasson and Tristan Glatard},
journal= {arXiv preprint arXiv:2404.11556},
year = {2024}
}