通过自适应参数化打破激活函数瓶颈
机器学习
2018-11-26 v4 神经与进化计算
机器学习
摘要
标准神经网络架构仅借助简单的逐元素激活函数实现非线性，这使其既脆弱又过于庞大。在本文中，我们考虑在保持前馈层基本结构的同时使其更具灵活性的方法。我们开发了简单的即插即用替代模块，其学习根据输入条件自适应调整参数化，从而显著提升统计效率。我们提出了一种自适应LSTM，在Penn Treebank和WikiText-2词建模任务上推进了当前最优水平，同时使用了更少的参数，并在不到一半的迭代次数内收敛。
引用
@article{arxiv.1805.08574,
title = {Breaking the Activation Function Bottleneck through Adaptive Parameterization},
author = {Sebastian Flennerhag and Hujun Yin and John Keane and Mark Elliot},
journal= {arXiv preprint arXiv:1805.08574},
year = {2018}
}
备注
Published as a conference paper at NeurIPS (NIPS) 2018