通过生物激活函数改进深度学习
摘要
“受生物学启发的”激活函数，如逻辑 Sigmoid，在机器学习的历史发展中发挥了关键作用。然而在深度学习领域，它们已在很大程度上被修正线性单元（ReLU）或类似函数（如其指数线性单元（ELU）变体）所取代，以减轻与误差反向传播相关的梯度消失效应。然而，逻辑 Sigmoid 并不代表生理条件下神经元细胞中真实的输入-输出关系。在此，我们引入了双节点根单元（BRU）激活函数，其表现出的输入-输出非线性在生物学上更为合理，因为其函数形式基于神经元细胞已知的生物物理特性。为了评估 BRU 激活的学习性能，我们构建了除了传递函数（ReLU、ELU 和 BRU）不同之外架构完全相同的深度网络。基于 MNIST 和 CIFAR-10/100 数据集，使用多层感知器、堆叠自编码器和卷积网络来测试监督和无监督学习。通过损失和误差测量量化的学习性能比较表明，双节点网络的训练速度比其 ReLU 和 ELU 对应网络更快，并且在没有正式正则化的情况下也能产生最佳泛化模型。因此，这些结果表明，重新审视生物神经元及其回路的详细特性对于未来深度学习领域可能具有不可估量的价值。
引用
@article{arxiv.1804.11237,
title = {Deep learning improved by biological activation functions},
author = {Gardave S Bhumbra},
journal= {arXiv preprint arXiv:1804.11237},
year = {2018}
}
备注
11 pages, 4 figures. 18/05/2018: 9 pages, 5 figures. Eq. 1 corrected. Changed name of biological activation functions. Weight initialisation simplified: experiments repeated, all figures changed, overall results unchanged, Methods shortened, Appendix removed. Added new Results section for new experiments on CIFAR 10/100 data. Extended arguments in Discussion