通过Cielo中的故障注入实验理解故障场景与影响
分布式、并行与集群计算
2019-07-03 v1
摘要
我们展示了一组在ACES（LANL/SNL）Cray XE超级计算机Cielo上执行的故障注入实验。我们利用该实验活动来增进对我们在NCSA的Blue Waters现场故障数据分析中观察到的故障原因与传播的理解。我们利用从日志和网络性能计数器数据收集的数据：1）刻画Gemini网络与Cray计算节点中的故障-错误-失败序列及恢复机制，2）理解不同规模下故障对系统与用户应用的影响，3）识别并重建导致不可恢复故障的故障场景，以创建系统与应用设计的新测试。故障通过特殊输入命令注入，以断开网络链路、方向连接、节点和刀片。我们提出了将我们的注入与分析方法论应用于Cray XC（Aries）系统所需的扩展。
引用
@article{arxiv.1907.01019,
title = {Understanding Fault Scenarios and Impacts through Fault Injection Experiments in Cielo},
author = {Valerio Formicola and Saurabh Jha and Daniel Chen and Fei Deng and Amanda Bonnie and Mike Mason and Jim Brandt and Ann Gentile and Larry Kaplan and Jason Repik and Jeremy Enos and Mike Showerman and Annette Greiner and Zbigniew Kalbarczyk and Ravishankar K. Iyer and Bill Krammer},
journal= {arXiv preprint arXiv:1907.01019},
year = {2019}
}
备注
Presented at Cray User Group 2017