激活稀疏量化深度神经网络中的内存故障：基于锐度感知训练的分析与缓解
机器学习
2024-06-18 v1
摘要
通过量化和稀疏化技术提高深度神经网络 (DNN) 加速器的硬件效率显示出巨大的潜力。然而，其在非理想现实环境（如存在硬件故障时）下的推理准确率尚未进行系统性分析。本文研究了内存故障对激活稀疏量化深度神经网络 (AS QDNN) 的影响。我们表明，较高的激活稀疏度以更大的故障脆弱性为代价，AS QDNN 的准确率比标准 QDNN 低最高可达 11.13%。我们建立，准确度下降与 AS QDNN 在损失景观中的更尖锐最小值相关，这使其对因故障导致的权值扰动更敏感。基于此观察，我们采用锐度感知量化 (SAQ) 训练来缓解内存故障的影响。经 SAQ 训练的 AS 和标准 QDNN 分别比传统训练的版本高出最高可达 19.50% 和 15.82%。此外，我们表明 SAQ 训练的 AS QDNN 在故障环境下的准确率高于传统训练的标准 QDNN。因此，锐度感知训练可以在不损失故障容忍性的前提下实现稀疏性相关的延迟优势。
引用
@article{arxiv.2406.10528,
title = {Memory Faults in Activation-sparse Quantized Deep Neural Networks: Analysis and Mitigation using Sharpness-aware Training},
author = {Akul Malhotra and Sumeet Kumar Gupta},
journal= {arXiv preprint arXiv:2406.10528},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2301.00675