迈向模块化算法归纳
机器学习
2020-03-10 v1 人工智能
摘要
我们提出一种模块化神经网络架构 Main，其在给定一组输入输出示例的情况下学习算法。Main 由一个神经控制器组成，该控制器与变长输入带交互，并学习将模块与其对应的参数选择进行组合。与以往方法不同，Main 使用一种通用的、与领域无关的机制来选择模块及其参数。它采用通用的输入带布局以及并行历史带来指示最近使用的位置。最后，它使用无记忆控制器与基于长度不变自注意力的输入带编码，以实现对带位置的随机访问。Main 架构通过一组输入输出示例使用强化学习进行端到端训练。我们在五项算法任务上评估 Main，表明其能学习到对远长于训练所用长度的输入完美泛化的策略。
引用
@article{arxiv.2003.04227,
title = {Towards Modular Algorithm Induction},
author = {Daniel A. Abolafia and Rishabh Singh and Manzil Zaheer and Charles Sutton},
journal= {arXiv preprint arXiv:2003.04227},
year = {2020}
}
备注
10 pages, 4 figures, 2 tables