通过元序列到序列学习实现组合泛化
计算与语言
2019-10-10 v2 人工智能
机器学习
摘要
人们能够学习一个新概念并组合性地使用它，例如在学会“blicket”之后理解如何“blicket twice”。相比之下，强大的序列到序列（seq2seq）神经网络在组合性测试中失败，尤其是将新概念与已有概念组合时。在本文中，我展示了记忆增强神经网络如何通过元 seq2seq 学习被训练以组合性地泛化。在该方法中，模型在一系列 seq2seq 问题上训练，以获取解决新 seq2seq 问题所需的组合技能。元 seq2seq 学习解决了 SCAN 组合学习测试中的若干项，并能够学习将隐式规则应用于变量。
引用
@article{arxiv.1906.05381,
title = {Compositional generalization through meta sequence-to-sequence learning},
author = {Brenden M. Lake},
journal= {arXiv preprint arXiv:1906.05381},
year = {2019}
}
备注
This paper appears in the 33rd Conference on Neural Information Processing Systems (NeurIPS 2019), Vancouver, Canada