神经网络对存储介质错误的鲁棒性
信息论
2017-09-20 v1 math.IT
摘要
我们研究存储于噪声介质中的神经网络在存储/带宽与预测精度之间的权衡。传统上，假设训练好的神经网络的所有参数（例如权重和偏置）均以二进制数组形式存储且无错误。该假设基于纠错码（ECCs）的实现，用以纠正存储介质中潜在的比特翻转。然而，ECCs 会增加存储开销，并在推理期间加载训练参数时导致带宽降低。我们研究了在不同神经网络模型和数据集下，当存在比特错误但关闭 ECCs 时深度神经网络的鲁棒性。观察到，更复杂的模型和数据集对其训练参数中的错误更为脆弱。我们提出了一种简单的检测方法，能够普遍提升鲁棒性，在某些情况下可提升数个数量级。我们还提出了一种替代的参数二进制表示方法，使得比特翻转带来的失真得以减小，甚至在表示参数的比特数增加时，理论上失真可趋于零。
引用
@article{arxiv.1709.06173,
title = {Robustness of Neural Networks against Storage Media Errors},
author = {Minghai Qin and Chao Sun and Dejan Vucinic},
journal= {arXiv preprint arXiv:1709.06173},
year = {2017}
}
备注
9 pages