基于截断高斯近似的三值神经网络权重与量化器联合优化
机器学习
2018-10-03 v1 机器学习
摘要
过去几年，深度卷积神经网络在许多人工智能应用中取得了巨大成功。然而，其庞大的模型规模和巨量的计算成本已成为在低功耗和资源受限的移动系统中部署此类强大算法的主要障碍。作为应对该问题的对策，具有三值化权重（即-1、0、+1）的深度神经网络已被广泛探索，以在有限精度损失下大幅缩减模型规模与计算成本。本工作中，我们提出一种新颖的三值神经网络训练方法，与先前工作不同，其在训练过程中同时优化权重和量化器。不同于固定且均匀的重量三值化，我们首次将权重三值化的阈值通过截断高斯近似纳入闭式表示，从而通过反向传播训练实现权重与量化器的联合优化。在首层和末层均三值化的条件下，ImageNet分类任务上的实验表明，我们的三值化ResNet-18/34/50相较于全精度对应模型仅分别有3.9/2.52/2.16%的精度下降。
引用
@article{arxiv.1810.01018,
title = {Simultaneously Optimizing Weight and Quantizer of Ternary Neural Network using Truncated Gaussian Approximation},
author = {Zhezhi He and Deliang Fan},
journal= {arXiv preprint arXiv:1810.01018},
year = {2018}
}