通过非线性权重变换提高神经网络对故障注入的鲁棒性
机器学习
2024-12-02 v1 人工智能
计算机视觉与模式识别
摘要
在真实环境中部署深度神经网络 (DNN) 面临由于辐射、老化和温度波动导致的硬件故障的挑战。为此，前人的工作侧重于通过限制激活范围（使用裁剪 ReLU）来保护 DNN，并寻找最优裁剪阈值。然而，本工作侧重于通过应用饱和激活函数 (SAF) 来约束 DNN 权重：如 Tanh、Arctan 等。SAF 可防止故障导致 DNN 权重变得过大，从而引发模型失效。这些方法不仅提高了 DNN 针对故障注入的鲁棒性，也略微提升了 DNN 性能。在部署前，对 DNN 进行以 SAF 约束的权重训练。在部署期间，写入带有故障的 DNN 权重。读取时，应用 SAF 的带故障权重用于推断。我们在三个数据集（CIFAR10、CIFAR100、ImageNet 2012）和三个数据类型（32 位浮点 (FP32)、16 位浮点和 8 位定点）上展示了所提出方法。我们表明，本方法使 FP32 ResNet18 在 ImageNet 2012 上可 operate at a bit-error rate of 0.00001，同时保持较小的准确率损失；而无本方法时，FP32 DNN 仅产生随机猜测。此外，为加速训练过程，我们展示了可通过仅进行少数 epoch 训练来适应 ImageNet 2012 预训练的 ResNet18 以实现 SAF，同时仍确保对故障注入的鲁棒性。
引用
@article{arxiv.2411.19027,
title = {Enhancing Neural Network Robustness Against Fault Injection Through Non-linear Weight Transformations},
author = {Ninnart Fuengfusin and Hakaru Tamukoh},
journal= {arXiv preprint arXiv:2411.19027},
year = {2024}
}
备注
5 pages, 6 figures