利用神经算术逻辑模块学习除法
神经与进化计算
2021-10-13 v2 机器学习
机器学习
摘要
为实现系统性泛化，首先掌握算术等简单任务是合理的。在四种基本算术运算（+、-、、）中，除法被认为对人类和计算机都是最困难的。在本文中，我们表明即使是在除以两个数字的最简单层面上，以系统性方式稳健地学习除法仍然是一项挑战。我们提出了两种用于除法的全新方法，称为神经倒数单元（NRU）和神经乘性倒数单元（NMRU），并对现有除法模块——实神经幂单元（Real NPU）进行了改进。在具有输入冗余的 225 个不同训练集上进行的除法学习实验发现，我们对 Real NPU 提出的修改获得了 85.3 的平均成功率，较原始版本提升了 15.1。鉴于上述结果，我们的 NMRU 方法可进一步提高成功率至 91.6。
引用
@article{arxiv.2110.05177,
title = {Learning Division with Neural Arithmetic Logic Modules},
author = {Bhumika Mistry and Katayoun Farrahi and Jonathon Hare},
journal= {arXiv preprint arXiv:2110.05177},
year = {2021}
}
备注
28 pages, 24 figures. New experiments included(Section 7 and Appendix G)