神经算术逻辑单元
神经与进化计算
2018-08-03 v1
摘要
神经网络能够学习表示和处理数值信息，但它们很少能在训练期间遇到的数值范围之外很好地泛化。为了鼓励更系统的数值外推，我们提出了一种架构，该架构将数值量表示为线性激活，并使用由学习到的门控控制的原始算术算子对其进行操作。我们称此模块为神经算术逻辑单元（NALU），类比于传统处理器中的算术逻辑单元。实验表明，增强了NALU的神经网络能够学习跟踪时间、对数字图像执行算术运算、将数值语言转换为实值标量、执行计算机代码以及计数图像中的物体。与传统架构相比，我们在训练期间遇到的数值范围内和范围外都获得了显著更好的泛化能力，通常能外推到超出训练数值范围数个数量级。
引用
@article{arxiv.1808.00508,
title = {Neural Arithmetic Logic Units},
author = {Andrew Trask and Felix Hill and Scott Reed and Jack Rae and Chris Dyer and Phil Blunsom},
journal= {arXiv preprint arXiv:1808.00508},
year = {2018}
}