面向增强神经网络容错性的研究

深度学习加速器容易出现故障，表现为神经网络中的错误。神经网络的容错性在长期计算的实时安全关键应用中至关重要。具有高正则化的神经网络表现出更优的容错性，但代价是分类精度下降。鉴于功能上的差异，神经网络被建模为两个独立的网络，即具有无监督学习目标的特征提取器和具有有监督学习目标的分类器。传统上使用单一有监督学习目标训练整个网络的方法，不足以最优地实现各组件的目标。本工作中，提出了一种新颖的多准则目标函数，将特征提取器的无监督训练与分类器网络的有监督微调相结合。无监督训练在存在与特征提取器目标冲突的对抗神经网络时同时求解两个博弈。第一个博弈在生成式解码器存在下，最小化给定提取器特征的输入图像重建损失以实现不可区分性。第二个博弈在判别网络存在下，求解特征空间分布平滑以匹配先验分布的极小极大约束优化。所得强正则化特征提取器与分类器网络结合进行有监督微调。所提出的对抗式容错神经网络训练可扩展至大型网络且独立于架构。在基准数据集FashionMNIST和CIFAR10上的评估表明，与广泛使用的正则化器相比，所得网络具有高精度以及对“0”卡死故障的更优容忍度。