残差矩阵变换器：扩展残差流的规模
机器学习
2025-07-01 v1 计算与语言
摘要
残差流充当变换器层的存储和访问特征的存储总线（Elhage 等，2021）。我们考虑改变残差流中用于检索和存储信息的机制，将变换器的残差流替换为外积记忆矩阵（Kohonen，1972，Anderson，1972）。我们称此模型为残差矩阵变换器（RMT）。我们发现，RMT 具备许多有利特性：1）残差流的大小可以独立于计算和模型规模进行扩展，从而提升性能；2）RMT 可以相同损失实现的变换器，其计算量 (FLOPS) 减少 58%，参数减少 25%，训练标记数减少 41%；3）RMT 在下游评估中超越变换器。我们对变换器和 RMT 进行了理论分析，展示了 RMT 允许更高效地扩展残差流规模，以及改进的方差传播特性。本项目的代码可在 https://github.com/bmac3/residual-matrix-transformer 查看。
引用
@article{arxiv.2506.22696,
title = {Residual Matrix Transformers: Scaling the Size of the Residual Stream},
author = {Brian Mak and Jeffrey Flanigan},
journal= {arXiv preprint arXiv:2506.22696},
year = {2025}
}
备注
Accepted to ICML 2025