混合专家混合精度神经网络的调优

深度学习已成为一种有用的数据分析方法，然而迄今为止在分布式计算机软件与嵌入式设备中的主流应用较少。通常，在主流应用和设备中加入深度学习推理需要配备适用于卷积神经网络的信号处理器的新型硬件。本工作向 Caffe 添加了新的数据类型（量化的 16 位和 8 位整数、16 位浮点数），以在现有支持 OpenCL 的日用商用图形处理器上节省内存并提升推理速度。现有模型可轻松以混合精度模式执行。此外，我们提出一种混合专家（mixture-of-experts）的变体，以提升 AlexNet 在图像分类上的推理速度。我们在某些设备上实现了高达 3.29 倍的内存使用降低，同时推理速度提升高达 3.01 倍。我们用五个简单示例展示了所提技术如何轻松应用于不同的机器学习问题。整个流程，包括模型、示例 python 脚本和修改版 Caffe 库，作为开源软件提供。