用于加网量化的权重与激活重分布方法
计算机视觉与模式识别
2022-12-21 v1
摘要
加法神经网络 (AdderNet) 通过将卷积中昂贵的乘法替换为更廉价的加法（即 l1 范数），为开发高能效神经网络提供了新途径。为获得更高的硬件效率，有必要进一步研究 AdderNet 的低比特量化。由于乘法中的交换律在 l1 范数中不成立，卷积网络上成熟的量化方法无法应用于 AdderNet。因此，现有的 AdderNet 量化技术提出仅使用单一共享尺度同时对权重和激活进行量化。不可否认，这种方法可以保持 l1 范数量化过程中的交换律，但低比特量化后的精度下降不可忽视。为此，我们首先深入分析了 AdderNet 中权重与激活分布的差异，进而提出一种通过重分布权重和激活的新量化算法。具体而言，将不同核中预训练的全精度权重聚类为不同组，然后可采用组内共享、组间独立的尺度。为进一步补偿由分布差异引起的精度下降，我们随后提出了针对权重的无损范围截断方案以及针对激活的简单而有效的离群值截断策略。从而，全精度权重的功能与全精度激活的表示能力得以完整保留。所提出的 AdderNet 量化方法的有效性在多个基准上得到了充分验证，例如，我们的 4 比特训练后量化加法 ResNet-18 在 ImageNet 上取得了 66.5% 的 top-1 精度，且具有可比的能效，比以往的 AdderNet 量化方法高出约 8.5%。
引用
@article{arxiv.2212.10200,
title = {Redistribution of Weights and Activations for AdderNet Quantization},
author = {Ying Nie and Kai Han and Haikang Diao and Chuanjian Liu and Enhua Wu and Yunhe Wang},
journal= {arXiv preprint arXiv:2212.10200},
year = {2022}
}