FlatENN：以平坦训练提升量化深度神经网络的故障容错性
机器学习
2023-01-03 v1 硬件体系结构
摘要
通过量化和稀疏化增强的模型压缩已获得极大关注，以使深度神经网络（DNNs）能够部署在资源受限的边缘环境中。尽管这些技术在降低 DNNs 的能量、延迟和内存需求方面显示出有前景的结果，它们在非理想现实环境（例如存在硬件故障的情况下）中的性能尚待完全理解。在本文中，我们研究了位翻转和卡死故障对激活稀疏量化 DNNs（QDNNs）的影响。我们表明，高水平的激活稀疏性是以对故障更大的脆弱性为代价的。例如，激活稀疏 QDNNs 比标准 QDNNs 表现出高达 17.32% 更低的准确率。我们还确定，激活稀疏 QDNNs 准确率下降的一个主要原因是损失景观中更尖锐的极小值，这使得它们对由于故障引起的权重值扰动更加敏感。基于这一观察，我们提出通过采用锐度感知量化（SAQ）训练方案来减轻故障的影响。用 SAQ 训练的激活稀疏和标准 QDNNs 分别比其常规训练的对应模型具有高达 36.71% 和 24.76% 更高的推理准确率。此外，我们表明 SAQ 训练的激活稀疏 QDNNs 在故障设置下比常规训练的标准 QDNNs 表现出更好的准确率。因此，所提出的技术有助于在不牺牲故障容错性的情况下实现稀疏性相关的能量/延迟收益。
引用
@article{arxiv.2301.00675,
title = {FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks},
author = {Akul Malhotra and Sumeet Kumar Gupta},
journal= {arXiv preprint arXiv:2301.00675},
year = {2023}
}