神经数据路由器：Transformer中的自适应控制流提升系统化泛化能力
机器学习
2022-05-06 v4 人工智能
神经与进化计算
摘要
尽管在广泛的应用中取得了进展，Transformer在系统化泛化方面的成功仍然有限。这种情况在算法任务中尤其令人沮丧，因为它们通常无法找到直观的解决方案，即在Transformer列所表示的网格中，在正确的时间将相关信息路由到正确的节点/操作。为了促进有用控制流的学习，我们提出了对Transformer架构的两项修改：复制门控和几何注意力。我们新颖的神经数据路由器（NDR）在经典的组合式表格查找任务上实现了100%的长度泛化准确率，在简单算术任务以及一个用于测试跨计算深度泛化能力的ListOps新变体上实现了近乎完美的准确率。NDR的注意力和门控模式往往可解释为一种直观的神经路由形式。我们的代码已公开。
引用
@article{arxiv.2110.07732,
title = {The Neural Data Router: Adaptive Control Flow in Transformers Improves Systematic Generalization},
author = {Róbert Csordás and Kazuki Irie and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2110.07732},
year = {2022}
}
备注
Accepted to ICLR 2022