广义三值连接：无乘法深度神经网络端到端学习与压缩
机器学习
2018-11-14 v1 机器学习
摘要
深度神经网络在边缘计算设备中的使用取决于计算精度与复杂度之间的平衡。三值连接（Ternary Connect, TC）\cite{lin2015neural} 通过将参数限制为 和 三个电平来解决此问题，从而在预测期间消除网络前向传播中的乘法。我们提出广义三值连接（Generalized Ternary Connect, GTC），它允许任意数量的电平，同时通过将参数限制为 2 的整数次幂来消除乘法。主要贡献在于 GTC 以端到端方式学习每层的电平数量及其数值，并与网络权重联合学习。在 MNIST 和 CIFAR-10 上的实验表明，对于深度分类网络（如 VGG-16）和深度变分自编码器，GTC 自然收敛于“几乎二值”的网络，且分类精度损失可忽略，生成样本的视觉质量相当。我们展示了 GTC 相较于几种 SOTA 神经网络压缩方法具有更优的压缩性能和相似的精度。我们以展示 GTC 在硬件中潜在收益的仿真作为结束。
引用
@article{arxiv.1811.04985,
title = {Generalized Ternary Connect: End-to-End Learning and Compression of Multiplication-Free Deep Neural Networks},
author = {Samyak Parajuli and Aswin Raghavan and Sek Chai},
journal= {arXiv preprint arXiv:1811.04985},
year = {2018}
}