用于最小化网络量化损失的簇促进量化与比特丢弃

网络量化旨在降低网络权重和激活的位宽，已因其向资源受限设备的部署而兴起。尽管近期研究已成功离散化全精度网络，但训练后仍存在较大量化误差，从而导致全精度网络与其量化对应物之间的显著性能差距。在本工作中，我们提出一种用于神经网络的新型量化方法——簇促进量化（CPQ），它在训练期间寻找最优量化网格，同时自然地促使底层全精度权重围绕这些量化网格内聚聚集。CPQ 的这一特性得益于我们实现可微量化的两个主要成分：i）在前向传播中使用由特定概率参数化设计的类别分布，以及 ii）我们在反向传播中提出的多类直通估计器（STE）。由于我们的第二成分多类 STE 固有地存在偏差，我们额外提出了一种新的比特丢弃技术 DropBits，它将标准 dropout 正则化修改为随机丢弃比特而非神经元。作为 DropBits 的自然扩展，我们进一步引入了学习异构量化级别的方式，通过对 DropBits 施加额外正则化来为每一层寻找合适的位宽。我们在各种基准数据集和网络架构上实验验证了我们的方法，并且支持关于量化的一个新假设：学习异构量化级别优于从头使用相同但固定的量化级别的情况。