距离感知量化

我们解决网络量化问题，即降低权重和/或激活的位宽以精简网络结构。量化方法使用舍入函数将全精度值映射到最近的量化值，但该操作不可微。利用基于梯度的优化器训练量化网络主要有两种方法。其一，直通估计器（STE）以恒等函数的零导数替代舍入的零导数，这导致梯度失配问题。其二，软量化器在训练时用连续函数近似舍入，并在测试时利用舍入进行量化。这缓解了梯度失配，但导致量化器间隙问题。我们在一个统一框架中缓解这两个问题。为此，我们提出一种新颖量化器，称为距离感知量化器（DAQ），主要由距离感知软舍入（DASR）与温度控制器构成。为缓解梯度失配问题，DASR 以核软 argmax 近似离散舍入，其基于我们的洞见：量化可表述为全精度值与量化值之间的距离基分配问题。控制器根据输入自适应调整 DASR 中的温度参数，解决量化器间隙问题。标准基准上的实验结果表明，DAQ 在各种位宽下无需额外技巧即显著优于当前最优方法。