ISimDL：基于重要性采样的故障注入仿真加速以评估深度学习鲁棒性
机器学习
2023-05-26 v2 人工智能
计算机视觉与模式识别
摘要
深度学习（DL）系统已在诸多应用中大量普及，亟需专门的硬件加速器与芯片。在纳米时代，器件对永久性与瞬态故障的敏感性日益增强。因此，我们需要一种高效方法来分析先进 DL 系统抵御此类故障的韧性，并理解神经加速器芯片中的故障如何在 DL 应用层表现为错误，其中故障可能导致无法检测与不可恢复的错误。通过故障注入，我们可在软件层修改神经元权重与输出，仿佛硬件受瞬态故障影响一般，从而对 DL 系统开展韧性研究。现有故障模型缩减了搜索空间，加快了分析速度，但需要对模型有先验知识，且不允许对滤除的搜索空间作进一步分析。为此，我们提出 ISimDL，一种利用神经元敏感度生成基于重要性采样的故障场景的新方法。无需任何被测模型的先验知识，ISimDL 即可实现与现有工作同等的搜索空间缩减，同时支持长时仿真以覆盖所有可能故障，改进了现有模型要求。实验表明，重要性采样在筛选关键故障上的精度比随机均匀采样最高高 15 倍，且可在少于 100 个故障时达到该精度。此外，我们展示了重要性采样在可靠 DNN 设计中的另一实际用例，即故障感知训练（FAT）。通过使用 ISimDL 选取导致错误的故障，我们可在 DNN 训练过程中插入这些故障，从而增强 DNN 对此类故障的鲁棒性。在 FAT 中使用重要性采样，将寻找导致预定精度下降的故障所需开销降低了 12 倍以上。
引用
@article{arxiv.2303.08035,
title = {ISimDL: Importance Sampling-Driven Acceleration of Fault Injection Simulations for Evaluating the Robustness of Deep Learning},
author = {Alessio Colucci and Andreas Steininger and Muhammad Shafique},
journal= {arXiv preprint arXiv:2303.08035},
year = {2023}
}
备注
Submission under review