概率权重固定：面向量化的神经网络权重不确定性的大规模训练
机器学习
2023-10-05 v3 人工智能
摘要
权重共享量化已成为一种通过约束大型神经网络权重为有限值集合来降低推理能耗的技术。然而，现有权重共享量化方法常基于仅由数值决定的权重处理方式做出假设，忽视了权重位置所起的独特作用。本文提出一种基于贝叶斯神经网络（BNN）和变分松弛的概率框架，依据各权重位置特定的学习不确定性分布，识别哪些权重可移至哪些聚类中心及移动程度。我们引入一种新的初始化设置与正则化项，使得在复杂数据集-模型组合下训练 BNN 成为可能。通过利用由概率分布捕获的权重值灵活性，我们增强了噪声鲁棒性与下游可压缩性。我们的迭代聚类过程在 ResNet 模型及更复杂的基于 transformer 的架构上，均展现出优于 SOTA 方法的可压缩性与更高精度。特别地，我们的方法在 ImageNet 上使用 DeiT-Tiny 时，以仅 296 个唯一值表示其 500 余万权重，top-1 精度超越 SOTA 量化方法 1.6%。
引用
@article{arxiv.2309.13575,
title = {Probabilistic Weight Fixing: Large-scale training of neural network weight uncertainties for quantization},
author = {Christopher Subia-Waud and Srinandan Dasmahapatra},
journal= {arXiv preprint arXiv:2309.13575},
year = {2023}
}