聚变大数据近实时流式分析
等离子体物理
2022-02-16 v1 数据分析、统计与概率
摘要
尽管聚变等离子体实验产生的高维数据时间序列在规模与速度上不断增长，数据分析却一直落后于这一发展。例如，许多数据分析任务常在实验后以人工、临时方式执行。本文介绍 DELTA 框架，其促进了大数据、快速度聚变数据的近实时流式分析。通过将聚变实验的测量数据流式传输至高性能计算中心，DELTA 得以在等离子体脉冲间隙执行高要求的数据分析任务。本文描述 DELTA 的模块化、可扩展软件架构，并给出其各组件及整体工作流的性能基准。我们聚焦于在 NERSC 超级计算机上对 KSTAR 所测 ECEi 数据的流式分析，并常规实现约每秒 500 兆字节的数据传输率。我们展示一项高要求的湍流分析工作负载可分布于多个 GPU 上并在 5 分钟内执行完毕。我们进一步讨论 DELTA 如何利用现代数据库系统与容器编排服务提供基于 Web 的实时数据可视化。以 ECEi 数据为例，我们演示如何以机器学习模型输出增强数据可视化。通过向会话负责人与物理操作员提供采用实时可视化的高阶数据分析结果，他们可近实时监控长脉冲放电的演化，并就更明智地配置机器以进行下一次放电做出决策。
引用
@article{arxiv.2108.08896,
title = {Near real-time streaming analysis of big fusion data},
author = {Ralph Kube and R. Michael Churchill and CS Chang and Jong Choi and Jason Wang and Scott Klasky and Laurie Stephey and Minjun Choi and Eli Dart},
journal= {arXiv preprint arXiv:2108.08896},
year = {2022}
}