多门残差
机器学习
2026-05-25 v1 人工智能
计算与语言
摘要
虽然注意力残差已在解决深层残差层中激活值无界增长问题方面取得了一些效果，但不可避免地产生显著的通信开销。为规避这一瓶颈，我们提出多门残差（MGR），在不增加通信负担的情况下稳定激活规模。它利用简单的评分和门控机制维持多流上下文，配合注意力池化从流状态中提取隐藏状态。经验实验表明，MGR 可用于大规模训练和部署，相较于现有架构提供了显著的性能提升。
引用
@article{arxiv.2605.23259,
title = {Multi-Gate Residuals},
author = {Zhizhan Zheng and Feiyun Zhang and Shuchun Liu and Tian Xia and Xi Liu and Dasheng Hu and Hongquan Zhou},
journal= {arXiv preprint arXiv:2605.23259},
year = {2026}
}