一种用于设计混合深度神经网络中激活函数自动选择的方法论
神经与进化计算
2019-02-05 v1 机器学习
机器学习
摘要
激活函数影响 DNN 的行为与性能。非线性激活函数,如修正线性单元(ReLU)、指数线性单元(ELU)和缩放指数线性单元(SELU),优于线性对应函数。然而,选择合适的激活函数是一个具有挑战性的问题,因为它影响给定 DNN 的准确率和复杂度。在本文中,我们提出一种新颖的方法论,用于为给定 DNN 的每一层自动选择最佳可能的激活函数,从而使得整体 DNN 准确率相较于为整个 DNN 仅考虑一种激活函数有所提升。然而,探索激活函数所有不同配置的相关科学挑战在于其耗时且耗费资源。为此,我们的方法论在学习过程中识别评估点,以在训练的中间步骤评估准确率,并通过检查学习曲线的准确率梯度执行提前终止。这有助于显著减少训练期间的探索时间。此外,我们的方法论为每一层选择优化准确率的丢弃率(dropout rate)。实验表明,在 MNIST、CIFAR-10 和 CIFAR-100 基准上,我们以 GPU 上有限的性能和功耗代价实现了平均 7% 至 15% 的相对误差降低。
引用
@article{arxiv.1811.03980,
title = {A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks},
author = {Alberto Marchisio and Muhammad Abdullah Hanif and Semeen Rehman and Maurizio Martina and Muhammad Shafique},
journal= {arXiv preprint arXiv:1811.03980},
year = {2019}
}