无乘法？无浮点？没问题！训练用于高效推理的网络
机器学习
2018-10-01 v2 机器学习
摘要
为了将深度神经网络成功部署于高度资源受限的设备（助听器、耳塞、可穿戴设备），我们必须简化推理期间使用的运算类型以及内存/功耗资源。完全避免推理时的浮点运算是为这些高度受限环境设计网络的最简单方法之一。通过离散化网络内的非线性和网络权重，我们可以转向简单、紧凑的无浮点运算、无乘法且避免所有非线性函数计算的网络。我们的方法允许我们探索可能网络的光谱，从完全连续版本到具有双水平权重和激活的网络。我们的结果表明，离散化可在不损失性能的情况下完成，并且我们可以训练一个在无浮点、无乘法且使用更少RAM的情况下成功运行的网络，适用于回归任务（自编码）和多类分类任务（ImageNet）。部署我们的离散化网络所需的内存不到使用浮点运算的同等架构的三分之一。
引用
@article{arxiv.1809.09244,
title = {No Multiplication? No Floating Point? No Problem! Training Networks for Efficient Inference},
author = {Shumeet Baluja and David Marwood and Michele Covell and Nick Johnston},
journal= {arXiv preprint arXiv:1809.09244},
year = {2018}
}