潜在循环变换器：架构探索、训练策略与规模行为
机器学习
2026-05-27 v1 计算与语言
摘要
我们研究了潜在循环变换器（LRT），这是一种对自回归变换器的轻量级增强方案。LRT 通过复用前一个 token 的高层源层隐藏状态作为下一个 token 的循环记忆。由于该源状态在常规解码期间已计算，LRT 在位置之间引入了跨层的循环潜在路径，而无需插入暂停标记或额外的深度循环，标准注意力机制和 KV 缓存接口得以保留。为在规模化训练中实现此循环而无需顺序展开变换器，我们引入了交错并行训练：先进行一次完整序列的初始化前向传播以构建共享缓冲区；随后在不相交的位置子集上并行精细调整并写回，从而在大约基准计算量的 2 倍时间内，使所有 token 都获得循环记忆感知的监督。在纳米聊天风格的骨干网络和广泛的 token-参数比例预算下，LRT 在匹配有效计算量的情况下，改善了语言模型损失和零样本学习，参数增加仅为 0.3%。
引用
@article{arxiv.2605.26797,
title = {Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior},
author = {Zeyi Huang and Xuehai He and LiLiang Ren and Yiping Wang and Baolin Peng and Hao Cheng and Shuohang Wang and Pengcheng He and Jianfeng Gao and Yong Jae Lee and Yelong Shen},
journal= {arXiv preprint arXiv:2605.26797},
year = {2026}
}