RNN 中受生物启发自适应神经激活在学习过程中的优势
机器学习
2020-06-23 v1 神经与进化计算
神经元与认知
机器学习
摘要
单神经元响应的动态适应在生物神经网络中的神经编码起着基础作用。然而，人工网络中大多数使用的神经激活函数是固定的，且多被视为无关紧要的架构选择。在本文中，我们研究在学习的长时间尺度上非线性激活函数的适应，并概述其对循环神经网络中序列处理的影响。我们引入了一类受生物神经元输入-频率响应曲线启发的新型参数化非线性激活函数族，其允许在诸如 ReLU 和 sigmoid 等知名激活函数之间进行插值。利用简单数值实验以及动力系统与信息论的工具，我们研究了神经激活特征在学习动态中的作用。我们发现激活适应提供了不同的任务特定解，并且在某些情况下提高了学习速度与性能。重要的是，我们发现从我们的参数族中涌现的最优激活特征与文献中常用的函数显著不同，表明利用这些通常配置之间的差距有助于学习。最后，我们概述了仅神经激活适应即可帮助缓解给定任务中输入统计变化的情况，暗示了迁移学习优化的机制。
引用
@article{arxiv.2006.12253,
title = {Advantages of biologically-inspired adaptive neural activation in RNNs during learning},
author = {Victor Geadah and Giancarlo Kerg and Stefan Horoi and Guy Wolf and Guillaume Lajoie},
journal= {arXiv preprint arXiv:2006.12253},
year = {2020}
}