基于 Hessian 的训练用于增强 DNN 对参数损坏的韧性

深度神经网络对参数损坏极不韧性：即使在其参数内存中仅发生一次按位错误，就会导致准确率下降超过 10%，在最坏情况下可达 99%。这种恳求性在部署模型到计算平台时提出了巨大挑战，因为对手可以通过软件诱导比特翻转，或者由于自然原因可能发生按位损坏。大多数先前工作通过硬件或系统级方法来解决此问题，例如集成额外的硬件组件以在推理时验证模型的完整性。然而，这些方法尚未广泛部署，因为它们需要基础设施或平台范围的修改。本文我们提出一种新方法来解决此问题：通过训练模型使其对参数损坏更具韧性。我们的做法是 Hessian-aware 训练，以促进具有更平坦损失曲面的模型。我们表明，虽然已有训练方法旨在通过基于 Hessian 的方法提高泛化能力，但它们并不增强对参数损坏的韧性。相比之下，使用我们方法训练的模型在参数损坏韧性方面显著提升，尤其是在导致 90%-100% 准确率下降的单个比特翻转数量上减少了 20%-50%。此外，我们还展示了我们方法与现有硬件和系统级防御之间的协同作用。