面向二进制神经网络的零开销可靠设计：ZOBNN
人工智能
2024-07-09 v1
摘要
深度神经网络（DNN）中的低精度权重和激活函数在硬件效率方面优于其全精度版本。当以低精度操作实现时，特别是在参数被二值化（即 BNN）的极端情况下，量化最常提及的两项优势是减少内存消耗和加快推理过程。在本文中，我们引入了非常低精度神经网络的第三项优势：改进的容错性。我们通过全面分析研究了影响最先进二进制神经网络（BNN）的内存故障。尽管 BNN 架构中包含用于提高准确性的浮点参数，但我们的发现表明，BNN 对这些参数因内存故障导致的偏差极其敏感。在鉴于这一关键发现后，我们提出了一种通过新颖的故意均匀量化来限制浮点参数范围的技术，以提高 BNN 的可靠性。所介绍的量化技术导致 BNN 中所使用的浮点参数比例降低，且在推理阶段不会引入任何额外的计算开销。对提议的 BNN 架构（即 ZOBNN）进行的大量实验故障模拟显示，其鲁棒性比传统浮点 DNN 高出约 5 倍。值得注意的是，这一改进是在不引入计算开销的前提下实现的。关键的是，这一提升不增加计算开销。 \ToolName~ 在计算资源有限、优先考虑可靠性和实时性能的关键边缘应用中表现出色。
引用
@article{arxiv.2407.04964,
title = {ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters},
author = {Behnam Ghavami and Mohammad Shahidzadeh and Lesley Shannon and Steve Wilton},
journal= {arXiv preprint arXiv:2407.04964},
year = {2024}
}