通过乘性权重更新学习组合函数
神经与进化计算
2021-01-11 v2 机器学习
数值分析
数值分析
机器学习
摘要
组合性是生物与人工神经网络的基本结构特征。通过梯度下降学习组合函数会遇到诸如梯度消失与梯度爆炸等众所周知的问题，使得细致的学习率调优对实际应用至关重要。本文证明乘性权重更新满足一个专为组合函数定制的下降引理。基于此引理，我们推导出 Madam——Adam 优化器的乘性版本——并表明它无需学习率调优即可训练最先进的神经网络架构。我们进一步表明，Madam 通过以对数数字系统表示权重，可轻易适配于训练原生压缩的神经网络。最后，我们通过建立乘性权重更新与生物学中有关突触的最新发现之间的联系作结。
引用
@article{arxiv.2006.14560,
title = {Learning compositional functions via multiplicative weight updates},
author = {Jeremy Bernstein and Jiawei Zhao and Markus Meister and Ming-Yu Liu and Anima Anandkumar and Yisong Yue},
journal= {arXiv preprint arXiv:2006.14560},
year = {2021}
}