以三值化权重实现高精度深度卷积神经网络优化
计算机视觉与模式识别
2018-07-23 v1
摘要
深度卷积神经网络在许多人工智能应用中取得了巨大成功。然而，其庞大的模型规模和巨大的计算代价已成为在低功耗和资源受限的嵌入式系统中部署此类强大算法的主要障碍。作为该问题的对策，本工作中我们提出统计权重缩放和残差扩展方法，将整个网络权重参数的位宽降低为三值（即 -1、0、+1），旨在大幅降低模型规模、计算代价以及由模型压缩引起的精度下降。在约 16 倍模型压缩率下，我们的三值化 ResNet-32/44/56 在 CIFAR-10 数据集上分别比全精度对应模型高出 0.12%、0.24% 和 0.18%。我们还将三值化方法用于 AlexNet 和 ResNet-18 在 ImageNet 数据集上的测试，两者均以相同的 16 倍压缩率取得了相较于近期同类工作最好的 top-1 精度。若进一步结合我们的残差扩展方法，相较于全精度对应模型，我们的三值化 ResNet-18 在 ImageNet 数据集上甚至将 top-5 精度提高了 0.61%，且仅使 top-1 精度下降 0.42%，压缩率达 8 倍。它以 1.03% 的 top-1 精度和 1.78% 的 top-5 精度优于近期的 ABC-Net，且具有约 1.25 倍更高的压缩率和因权重稀疏性带来的超过 6 倍的计算量减少。
引用
@article{arxiv.1807.07948,
title = {Optimize Deep Convolutional Neural Network with Ternarized Weights and High Accuracy},
author = {Zhezhi He and Boqing Gong and Deliang Fan},
journal= {arXiv preprint arXiv:1807.07948},
year = {2018}
}