NITRO-D：深度卷积神经网络的原生整数-only训练
机器学习
2025-12-05 v3 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
量化是管理深度神经网络（DNN）日益增长的计算和内存需求的关键技术。通过减少用于表示权重和激活的位数（通常从32位浮点（FP）到16位或8位整数），量化减少了内存占用、能源消耗和执行时间。然而，大多数现有方法通常针对DNN推理，而训练仍依赖FP运算，限制了在FP算术不可用的环境中的应用。到目前为止，只有一项工作已解决了整数-only训练，仅针对多层感知机（MLP）架构。本文引入NITRO-D，一种用于训练深度整数-only卷积神经网络（CNN）的新框架，其在训练和推理期间完全以整数域运行。NITRO-D使整数CNN的训练无需单独的量化方案。具体而言，它引入一种新体系结构，将多个本地损失块集成其中，包括提出的NITRO-Scaling层和NITRO-ReLU激活函数。该框架还 features一种新学习算法，采用局部误差信号并利用IntegerSGD——一种专为整数计算设计的优化器。NITRO-D实现为开源Python库。在最先进的图像识别数据集上进行了广泛评估，证明了其有效性。对于整数-only MLP，NITRO-D在测试准确率上比最先进的方法提高最高可达+5.96%。它还成功训练了整数-only CNN，较传统FP反向传播算法减少了最高可达76.14%的内存要求和32.42%的能源消耗。
关键词
引用
@article{arxiv.2407.11698,
title = {NITRO-D: Native Integer-only Training of Deep Convolutional Neural Networks},
author = {Alberto Pirillo and Luca Colombo and Manuel Roveri},
journal= {arXiv preprint arXiv:2407.11698},
year = {2025}
}
备注
15 pages, 3 figures