面向Transformer与递归神经网络之间的设计空间
机器学习
2024-09-04 v1 人工智能
摘要
本文我们研究了两类模型，递归神经网络(RvNN)和Transformer，展示了从最近两种模型——连续递归神经网络(CRvNN)和神经数据路由器(NDR)的最新发展中，两者之间出现紧密联系的事实。一方面，CRvNN推动了传统RvNN的边界，放宽了其离散结构依赖的构成，最终形成类似Transformer的结构。另一方面，NDR约束了原始Transformer，以诱导出更好的结构归纳偏置，最终形成接近CRvNN的模型。两种模型CRvNN和NDR在算法任务和其中简单形式的RvNN和Transformer失败的情形下表现出强大的性能。我们探索了这些"桥接"模型在RvNN与Transformer之间的设计空间，形式化了它们的紧密联系，讨论了它们的局限性，并提出了未来研究的想法。
引用
@article{arxiv.2409.01531,
title = {On the Design Space Between Transformers and Recursive Neural Nets},
author = {Jishnu Ray Chowdhury and Cornelia Caragea},
journal= {arXiv preprint arXiv:2409.01531},
year = {2024}
}