MUDDFormer：通过多路动态密集连接打破 Transformer 中的残差瓶颈
机器学习
2025-05-29 v2 人工智能
计算与语言
摘要
我们提出了多路动态密集（MUDD）连接，一种简单而有效的方法，用于解决残差连接的局限性并增强 Transformer 中的跨层信息流。与现有具有静态和共享连接权重的密集连接方法不同，MUDD 根据 Transformer 块中每个序列位置的隐藏状态以及每个解耦输入流（查询、键、值或残差）动态生成连接权重。MUDD 连接可以无缝集成到任何 Transformer 架构中，从而构建 MUDDFormer。大量实验表明，MUDDFormer 在语言建模的各种模型架构和规模上显著优于 Transformer，达到了使用 1.8X-2.4X 计算训练的 Transformer 的性能。值得注意的是，MUDDPythia-2.8B 在预训练困惑度和下游任务上匹配 Pythia-6.9B，甚至在五-shot 设置中匹敌 Pythia-12B，同时仅增加了 0.23% 的参数和 0.4% 的计算。JAX 和 PyTorch 代码以及预训练模型可在 https://github.com/Caiyun-AI/MUDDFormer 获取。
引用
@article{arxiv.2502.12170,
title = {MUDDFormer: Breaking Residual Bottlenecks in Transformers via Multiway Dynamic Dense Connections},
author = {Da Xiao and Qingye Meng and Shengping Li and Xingyuan Yuan},
journal= {arXiv preprint arXiv:2502.12170},
year = {2025}
}
备注
Accepted to the 42nd International Conference on Machine Learning (ICML'25)