基于二值神经网络的迁移学习
神经与进化计算
2017-11-30 v1 计算机视觉与模式识别
摘要
先前工作表明，训练具有低精度权重与激活的深度神经网络是可能的。在极端情况下甚至可将网络约束为二值。代价高昂的浮点乘法由此简化为快速逻辑运算。Google 的 Pixel 2 与 Apple 的 iPhone X 等高端智能手机已配备专用图像处理硬件，未来其他消费类硬件也很可能拥有深度神经网络的专用加速器。二值神经网络在此情形下颇具吸引力，因为逻辑运算在硬件实现中极为快速高效。我们提出一种基于迁移学习的架构：首先在 Imagenet 上训练二值网络，然后保持网络大部分固定，对部分网络重新训练以适配不同任务。固定的二值部分可由硬件加速器实现，而网络最后几层由软件求值。我们表明，在 Imagenet 数据集上训练的单一二值神经网络确实可用作其他数据集的特征提取器。
引用
@article{arxiv.1711.10761,
title = {Transfer Learning with Binary Neural Networks},
author = {Sam Leroux and Steven Bohez and Tim Verbelen and Bert Vankeirsbilck and Pieter Simoens and Bart Dhoedt},
journal= {arXiv preprint arXiv:1711.10761},
year = {2017}
}
备注
Machine Learning on the Phone and other Consumer Devices, NIPS2017 Workshop