神经状态寄存器
机器学习
2021-03-12 v2 神经与进化计算
机器学习
摘要
标准神经网络可以学习数学运算，但它们不能外推。外推是指模型可应用于更大的数，远超训练期间所观察到的那些数。近期架构解决了算术运算问题且能够外推；然而，同样重要的定量推理问题仍未得到解决。在本文中，我们提出一种新颖的架构元素——神经状态寄存器（NSR），用于对数字进行定量推理。我们的NSR将物理状态寄存器的离散位逻辑松弛为连续数值，并允许使用梯度下降进行端到端学习。实验表明，NSR获得的解决方案可外推到比训练集中大许多数量级的数字。我们成功地在数字比较、分段不连续函数、序列计数、递归寻找最小值、寻找图中的最短路径以及图像中数字比较上训练了NSR。
引用
@article{arxiv.2004.07085,
title = {Neural Status Registers},
author = {Lukas Faber and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2004.07085},
year = {2021}
}