一种在复制任务中卓越的全 MLP 序列建模架构
机器学习
2024-06-25 v1
摘要
最近的工作表明，Transformer 能够高效复制指数级大小的字符串，区别于其他架构。我们提出了因果关系网络（CausalRN），一种全 MLP 序列建模架构，可在复制任务中匹配 Transformer 的性能。扩展自关系网络（RN），我们实现了关键创新，以支持自回归序列建模，同时保持计算可行性。我们发现，指数激活的 RN 可化简为线性时间复杂性，预激活归一化可引入无限增长的记忆池，类似 KV 缓存。在消融研究中，我们发现指数激活和预激活归一化对实现 Transformer 级别的复制至关重要。我们的发现为理解强 in-context 检索的实际构成提供了新见解。
关键词
引用
@article{arxiv.2406.16168,
title = {An All-MLP Sequence Modeling Architecture That Excels at Copying},
author = {Chenwei Cui and Zehao Yan and Gedeon Muhawenayo and Hannah Kerner},
journal= {arXiv preprint arXiv:2406.16168},
year = {2024}
}
备注
Accepted by ICML 2024 Next Generation of Sequence Modeling Architectures Workshop