RTN：重参数化三元网络
机器学习
2019-12-16 v2 信号处理
摘要
为在资源受限设备上部署深度神经网络，量化已被广泛探索。本工作中，我们研究具有量化激活和权重的极低位宽网络，其具备巨大的加速与内存节省。我们首先提出极低位宽网络中被忽视的三个问题：量化值的压缩范围；反向传播中的梯度消失；以及三元网络未开发的硬件加速。通过用全精度缩放和偏移对固定三元向量重参数化量化激活和权重向量，我们将范围与幅值从方向中解耦，以缓解这三个问题。可学习的缩放和偏移可自动调整量化值的范围和稀疏度而无梯度消失。我们设计了一种新颖的编码与计算模式以支持重参数化三元网络（RTN）的高效计算。在 ImageNet 上对 ResNet-18 的实验表明，所提 RTN 在位宽与精度间找到了好得多的效率，并相比 SOTA 方法实现了高达 26.76% 的相对精度提升。此外，我们在现场可编程门阵列（FPGA）上验证了所提计算模式，与全精度卷积相比，其在功耗和面积上分别带来 46.46 倍和 89.17 倍的节省。
引用
@article{arxiv.1912.02057,
title = {RTN: Reparameterized Ternary Network},
author = {Yuhang Li and Xin Dong and Sai Qian Zhang and Haoli Bai and Yuanpeng Chen and Wei Wang},
journal= {arXiv preprint arXiv:1912.02057},
year = {2019}
}
备注
To appear at AAAI-20