SLAC 与 NERSC 的实时 XFEL 数据分析：新生 exascale 实验数据分析的试运行
分布式、并行与集群计算
2024-03-21 v3 数据分析、统计与概率
摘要
使用自由电子激光（XFELs）的 X 射线散射实验是确定未知样品（如 COVID-19 病毒蛋白）分子结构与功能的有力工具。XFEL 实验对计算构成两方面挑战：i）由于运行 XFEL 成本高昂，从数据采集到数据分析的快速周转时间对于制定实验方案明智决策至关重要；ii）数据采集速率呈指数增长，需要新的可扩展算法。在此我们报告 2020 年 9 月于 Linac 相干光源（LCLS）两次实验的数据分析经验。原始数据在 NERSC 的 Cori XC40 系统上使用 Superfacility 范式分析：我们的工作流自动在 LCLS 与 NERSC 间传输原始数据，并使用软件包 CCTBX 进行分析。我们实现了实时数据分析，从数据采集到完整分子重构的周转时间最短达 10 分钟——足以让实验操作员做出明智决策。通过将数据分析托管于 Cori 并自动化 LCLS-NERSC 互操作，我们实现了与数据采集速率匹配的数据分析速率。在 10 分钟内完成数据分析是 XFEL 实验的首次，也是跟上数据收集趋势的重要里程碑。
引用
@article{arxiv.2106.11469,
title = {Real-Time XFEL Data Analysis at SLAC and NERSC: a Trial Run of Nascent Exascale Experimental Data Analysis},
author = {Johannes P. Blaschke and Aaron S. Brewster and Daniel W. Paley and Derek Mendez and Asmit Bhowmick and Nicholas K. Sauter and Wilko Kröger and Murali Shankar and Bjoern Enders and Deborah Bard},
journal= {arXiv preprint arXiv:2106.11469},
year = {2024}
}