面向 LLM 计算与容量扩展的双路径架构
计算与语言
2026-05-29 v1
摘要
循环变压器通过多次应用共享模块，已成为语言模型计算扩展的参数高效途径。然而，在固定 FLOPs 条件下，循环模型的容量严格小于基准变压器。我们提出一种新型双路径模块，可灵活扩展计算（作用于隐藏状态的序列操作次数）和容量（单步骤可用参数）。为此，我们在单层内部暴露两个平行路径：一个通过共享参数重复应用 K 次的深子层，以及一个一次性应用扩大前馈网络的宽子层。独立的 per-token 门将两个轴组合起来，允许进行细粒度的 per-token 路由分析。我们表明，在两种 FLOPs 预算下，our 双路径模型在语言建模和下游评估任务上均超越等 FLOPs 匹配的模型，同时在等效 FLOPs 条件下使用更少的参数。学习到的门直接可解释，显示出功能词和词汇内容趋向宽幅，标点符号、符号和算术 token 趋向深层。
引用
@article{arxiv.2605.30202,
title = {A Dual-Path Architecture for Scaling Compute and Capacity in LLMs},
author = {Markus Frey and Behzad Shomali and Joachim Koehler and Mehdi Ali},
journal= {arXiv preprint arXiv:2605.30202},
year = {2026}
}