$S^3$：用于低比特移位网络有效训练的符号-稀疏-移位重参数化
计算机视觉与模式识别
2021-12-08 v2 机器学习
摘要
移位神经网络通过去除昂贵的乘法操作并将连续权重量化为低比特离散值来降低计算复杂度，与传统神经网络相比更快且能效更高。然而，现有移位网络对权重初始化敏感，并且因梯度消失和权重符号冻结问题而导致性能下降。为解决这些问题，我们提出 S 低比特重参数化，一种用于训练低比特移位网络的新技术。我们的方法以符号-稀疏-移位的三重方式分解离散参数。以此方式，它高效地学习具有类似于全精度网络的权重动态且对权重初始化不敏感的低比特网络。我们提出的训练方法推进了移位神经网络的边界，并表明在 ImageNet 上 3-bit 移位网络的 top-1 准确率优于其全精度对应网络。
引用
@article{arxiv.2107.03453,
title = {$S^3$: Sign-Sparse-Shift Reparametrization for Effective Training of Low-bit Shift Networks},
author = {Xinlin Li and Bang Liu and Yaoliang Yu and Wulong Liu and Chunjing Xu and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2107.03453},
year = {2021}
}