通过注意力引导进行组合性学习
计算与语言
2019-07-08 v4 人工智能
机器学习
摘要
尽管神经网络模型已成功应用于需要大量泛化能力的领域，近期研究暗示当所训练任务要求推断其底层组合结构时，它们表现不佳。本文中，我们引入注意力引导（Attentive Guidance），一种将配备注意力的序列到序列模型导向更具组合性解的机制。我们在两个专为评估神经模型组合能力而设计的任务上测试它，并表明带注意力的原生序列到序列模型过拟合训练分布，而引导版本得出的组合性解在训练与测试分布上拟合得几乎同样好。此外，所学解甚至在训练与测试分布强烈背离的情况下也能泛化。以此方式，我们证明序列到序列模型能够在无需额外组件的情况下找到组合性解。这些结果有助于厘清神经网络缺乏系统性组合性的原因，进而可推动未来工作。
引用
@article{arxiv.1805.09657,
title = {Learning compositionally through attentive guidance},
author = {Dieuwke Hupkes and Anand Singh and Kris Korrel and German Kruszewski and Elia Bruni},
journal= {arXiv preprint arXiv:1805.09657},
year = {2019}
}