面向逻辑门残余神经网络的直方图均衡量化
机器学习
2025-01-10 v2 硬件体系结构
摘要
根据数据或模型损失进行量化调整似乎是实现量化神经网络高精度的必需之事。本文提出了直方图均衡量化 (HEQ)，这是一种用于线性对称量化的自适应框架。HEQ 自动通过独特的步长优化来调整量化阈值。我们通过实验证明，HEQ 在 CIFAR-10 上实现了最先进的性能。在 STL-10 数据集上的实验甚至表明，HEQ 使我们提出的基于逻辑门 (OR, MUX) 的残余神经网络能够实现更高的精度，并比以往工作在更低的硬件复杂度下进行训练。
引用
@article{arxiv.2501.04517,
title = {Histogram-Equalized Quantization for logic-gated Residual Neural Networks},
author = {Van Thien Nguyen and William Guicquero and Gilles Sicard},
journal= {arXiv preprint arXiv:2501.04517},
year = {2025}
}
备注
Published at IEEE ISCAS 2022