改进神经 GPU 架构以提升算法学习能力
神经与进化计算
2018-09-20 v2
摘要
算法学习是人工智能的核心问题，对机器所能达到的自动化水平具有深远影响。近年来，深度学习方法正兴起用于从输入-输出示例中合成算法，其中最成功的是能够学习乘法的神经 GPU。我们提出了对神经 GPU 的若干改进，显著缩短了训练时间并提升了泛化能力。我们引入了一种具有广泛适用性的新技术——带饱和代价的硬非线性。我们还引入了一种可应用于主动记忆模型的对角门技术。所提出的架构是首个能够端到端学习十进制乘法的架构。
引用
@article{arxiv.1702.08727,
title = {Improving the Neural GPU Architecture for Algorithm Learning},
author = {Karlis Freivalds and Renars Liepins},
journal= {arXiv preprint arXiv:1702.08727},
year = {2018}
}
备注
Minor edits