ORNL SNS/HFIR 中子飞行时间设施所产出的精简数据集成的高效加载
数据库
2022-09-07 v1 性能
摘要
我们针对橡树岭国家实验室（ORNL）设施中子散射实验产出的某些精简数据集成的加载操作提出了算法改进。为覆盖感兴趣样品材料较广的相空间范围，需要来自多次测量的集成。它们使用标准 NeXus 模式存储在各自的 HDF5 文件中。随着单个集成文件中存储的实验数量增加，这构成了可扩展性挑战。本工作延续我们此前在数据管理算法上的努力，旨在解决 Mantid（一个在全球多个中子科学设施中使用的开源数据分析框架）中已识别的输入输出（I/O）瓶颈。我们复用一个类似于数据访问模式的的内存二进制树元数据索引，以提供可扩展的搜索与提取机制。此外，针对当前常见用例（最常介于 10 到 180 之间，最多达 360 个独立测量配置），我们对若干内存操作进行了重构与优化。本工作的结果显示，在 ORNL 生产计算系统上，Mantid 的 LoadMD 例程在挂钟时间上获得了一致加速，平均提升幅度在 19% 到 23% 之间。后者取决于目标仪器特定数据的复杂程度，以及 ORNL 散裂中子源（SNS）和高通量同位素反应堆（HFIR）仪器用户可用的共享计算资源的系统 I/O 与计算波动性。尽管如此，我们仍强调，随着实验数据量、用户时间与处理成本的增加，亟需更多研究以应对精简挑战。
引用
@article{arxiv.2112.00228,
title = {Efficient loading of reduced data ensembles produced at ORNL SNS/HFIR neutron time-of-flight facilities},
author = {William F Godoy and Andrei T Savici and Steven E Hahn and Peter F Peterson},
journal= {arXiv preprint arXiv:2112.00228},
year = {2022}
}
备注
7 pages, 6 figures, 4 tables, The Second International Workshop on Big Data Reduction held with 2021 IEEE International Conference on Big Data