Frac-Connections：超连接的分数化扩展
机器学习
2025-03-19 v1 人工智能
计算与语言
摘要
残差连接是现代深度学习架构的核心，使能够通过缓解梯度消失而训练非常深的网络。Hyper-Connections 最近通过在不同深度引入多个连接强度，从而解决了梯度消失与表示坍塌之间的见证效应。然而，Hyper-Connections 通过扩大隐藏状态的宽度来增加内存访问成本。本文提出了 Frac-Connections，一种一种通过将隐藏状态划分为多个部分而非扩大其宽度的新方法。Frac-Connections 保留了 Hyper-Connections 的部分优势，同时降低了内存消耗。为验证其有效性，我们在语言任务上进行大规模实验，最大的实验是对 7B MoE 模型进行最高 3T token 的训练，结果表明 Frac-Connections 在残差连接方面显著优越。
引用
@article{arxiv.2503.14125,
title = {Frac-Connections: Fractional Extension of Hyper-Connections},
author = {Defa Zhu and Hongzhi Huang and Jundong Zhou and Zihao Huang and Yutao Zeng and Banggu Wu and Qiyang Min and Xun Zhou},
journal= {arXiv preprint arXiv:2503.14125},
year = {2025}
}