以受限学习参数训练深度神经网络
机器学习
2021-11-16 v1 计算机视觉与模式识别
机器学习
摘要
当今的深度学习模型主要在 CPU 和 GPU 上训练。尽管这些模型往往误差较低，但由于采用双精度浮点学习参数，它们功耗高且占用大量内存。超越摩尔定律，相当一部分深度学习任务将在边缘计算系统上运行，这些系统将构成整个计算架构不可或缺的一部分。随后，为此类系统训练深度学习模型必须量身定制并采用，以生成具有以下期望特性的模型：低误差、低内存和低功耗。我们认为，学习参数被约束为一组有限离散值、运行在神经形态计算系统上的深度神经网络（DNNs）将有助于实现具备这些期望特性的智能边缘计算系统。为此，我们提出组合神经网络训练算法（Combinatorial Neural Network Training Algorithm, CoNNTrA），其利用基于坐标梯度下降的方法训练具有有限离散学习参数的深度学习模型。接下来，我们阐述其理论根基并评估 CoNNTrA 的计算复杂度。作为概念验证，我们使用 CoNNTrA 在 MNIST、Iris 和 ImageNet 数据集上以三元学习参数训练深度学习模型，并将其性能与使用反向传播训练的相同模型进行比较。我们比较使用以下性能指标：(i) 训练误差；(ii) 验证误差；(iii) 内存使用量；(iv) 训练时间。我们的结果表明，CoNNTrA 模型使用的内存减少 32 倍，且误差与反向传播模型相当。
引用
@article{arxiv.2009.00540,
title = {Training Deep Neural Networks with Constrained Learning Parameters},
author = {Prasanna Date and Christopher D. Carothers and John E. Mitchell and James A. Hendler and Malik Magdon-Ismail},
journal= {arXiv preprint arXiv:2009.00540},
year = {2021}
}