神经算术单元
神经与进化计算
2020-01-16 v1
摘要
神经网络可以逼近复杂函数,但难以对实数执行精确的算术运算。算术运算归纳偏置的缺失使神经网络缺乏在加法、减法和乘法等任务上外推所需的底层逻辑。我们提出两种新的神经网络组件:神经加法单元(NAU),可学习精确加法和减法;以及神经乘法单元(NMU),可对向量的子集进行乘法。据我们所知,NMU 是首个在隐藏层维度较大时能够学习对向量中元素进行乘法的算术神经网络组件。这两个新组件受到近期提出的算术组件理论分析的启发。我们发现,在优化 NAU 和 NMU 时,谨慎的初始化、限制参数空间以及正则化以促进稀疏性十分重要。与以往的神经单元相比,我们提出的 NAU 和 NMU 收敛更稳定、参数更少、学习更快、能在更大隐藏层维度下收敛、获得稀疏且有意义的权重,并能外推到负值和小数值。
引用
@article{arxiv.2001.05016,
title = {Neural Arithmetic Units},
author = {Andreas Madsen and Alexander Rosenberg Johansen},
journal= {arXiv preprint arXiv:2001.05016},
year = {2020}
}
备注
International Conference on Learning Representations, 2020