FT-ClipAct：深度神经网络韧性分析及其基于截断激活的容错性提升
机器学习
2019-12-03 v1 机器学习
摘要
深度神经网络（DNN）正被广泛用于安全关键应用，例如医疗健康和自动驾驶。本质上，它们被认为具有高度的容错性。然而，近期研究表明，影响 DNN 参数（如权重）的硬件故障会对其分类精度产生剧烈影响。本文对权重存储器中受硬件故障（如永久性故障）影响的 DNN 进行了全面的错误韧性分析。该分析的结果被用于提出一种新颖的错误缓解技术，其通过压制高强度故障激活值来减轻其影响。我们通过将无界激活函数替换为其截断版本来实现这一点。我们还提出了一种系统定义激活函数截断值的方法，从而提高网络对故障的韧性。我们在为 CIFAR-10 数据集训练的 AlexNet 和 VGG-16 DNN 上评估了我们的技术。实验结果表明，我们的缓解技术显著提升了 DNN 对故障的韧性。例如，与无任何故障缓解的基准网络相比，所提技术在 1e-5 故障率下使韧性优化的 VGG-16 模型的分类精度平均提升 68.92%。
引用
@article{arxiv.1912.00941,
title = {FT-ClipAct: Resilience Analysis of Deep Neural Networks and Improving their Fault Tolerance using Clipped Activation},
author = {Le-Ha Hoang and Muhammad Abdullah Hanif and Muhammad Shafique},
journal= {arXiv preprint arXiv:1912.00941},
year = {2019}
}
备注
The 23rd Design, Automation and Test in Europe (DATE 2020)