卷积神经网络中的异构位宽二值化
计算机视觉与模式识别
2018-11-02 v2
摘要
近期研究表明，快速、紧凑的低比特宽度神经网络可以出人意料地准确。这些网络使用同质二值化：每一层或（更常见的）整个模型中的所有参数具有相同的低比特宽度（例如 2 位）。然而，现代硬件支持高效的定制设计，其中每条算术指令可具有自定义位宽，这催生了异构二值化，即网络中每个参数可具有不同的位宽。本文中，我们表明在训练期间以参数粒度选择位宽是可行且有益的。例如，AlexNet 和 MobileNet 等现代网络的异构量化版本，在正确混合 1、2 和 3 位参数且平均仅 1.4 位的情况下，可等同于这些网络同质 2 位版本的准确率。此外，我们提供的分析表明，异构二值化系统在基于 FPGA 和 ASIC 的实现中，在电路面积和能效方面均比同质对应系统更高效。
引用
@article{arxiv.1805.10368,
title = {Heterogeneous Bitwidth Binarization in Convolutional Neural Networks},
author = {Josh Fromm and Shwetak Patel and Matthai Philipose},
journal= {arXiv preprint arXiv:1805.10368},
year = {2018}
}
备注
NIPS 2018 camera ready update