ProAct：用于增强 DNN 鲁棒性的混合截断激活函数渐进式训练
机器学习
2026-03-10 v1
摘要
深度神经网络（DNN）被广泛应用于安全关键型应用中，确保硬件可靠性是其首要关注的问题。为了增强 DNN 抵抗硬件故障的可靠性，激活限制技术在不依赖加速器架构的情况下，显著减轻了 DNN 结构层面的故障影响。最先进的方法提供了神经元级或层级的截断激活函数。它们尝试使用基于启发式和基于学习的方法来确定最佳截断阈值。层级截断激活函数无法在高误码率下保持 DNN 的鲁棒性。另一方面，神经元级截断激活函数由于增加了参数而引入了相当大的内存开销，这增加了其对故障的脆弱性。此外，基于启发式的优化方法在搜索过程中需要大量的故障注入，导致阈值识别非常耗时。另一方面，对整层同时训练阈值的基于学习的技术通常会产生次优结果。在本工作中，我们首先证明在 DNN 的所有层中引入神经元级激活函数并非必需。然后，我们提出了一种混合截断激活函数，它结合了神经元级和层级方法，仅在 DNN 的最后一层应用神经元级截断。此外，为了在截断激活函数中获得最佳阈值，我们引入了 ProAct，一种渐进式训练方法。该方法在逐层的基础上迭代训练阈值，旨在分别获得每层的最佳阈值。
引用
@article{arxiv.2406.06313,
title = {ProAct: Progressive Training for Hybrid Clipped Activation Function to Enhance Resilience of DNNs},
author = {Seyedhamidreza Mousavi and Mohammad Hasan Ahmadilivani and Jaan Raik and Maksim Jenihhin and Masoud Daneshtalab},
journal= {arXiv preprint arXiv:2406.06313},
year = {2026}
}