组合式转码：利用注意力寻找更具泛化性的解
计算与语言
2019-06-07 v2 人工智能
摘要
尽管序列到序列模型在若干自然语言任务上展现出显著的泛化能力，但被认为其构建的解不如类人的组合式泛化。本文提出 seq2attn，一种专门设计用于利用注意力在输入中寻找组合模式的新型架构。在 seq2attn 中，编码器-解码器模型的两个标准组件通过一个转码器连接，该转码器调节它们之间的信息流。我们展示 seq2attn 无需任何额外监督即可在两个专门构造用于挑战神经网络组合技能的任务上成功泛化。模型所发现的解高度可解释，便于分析所找到解的类型及错误的潜在原因。我们利用这一机会引入一种测试组合性的新范式，研究模型在面对例外时过度泛化的程度。我们表明 seq2attn 比标准序列到序列模型表现出更大程度的此类过度泛化。
引用
@article{arxiv.1906.01234,
title = {Transcoding compositionally: using attention to find more generalizable solutions},
author = {Kris Korrel and Dieuwke Hupkes and Verna Dankers and Elia Bruni},
journal= {arXiv preprint arXiv:1906.01234},
year = {2019}
}
备注
to appear at BlackboxNLP 2019, ACL