mHC：流形约束的超连接
计算与语言
2026-01-06 v2 人工智能
机器学习
摘要
近期，以超连接（HC）为代表的研究通过扩展残差流的宽度和多样化连接模式，扩展了过去十年间确立的普遍残差连接范式。虽然带来了显著的性能提升，但这种多样化从根本上损害了残差连接固有的恒等映射特性，导致严重的训练不稳定性和受限的可扩展性，并额外带来了显著的内存访问开销。为了解决这些挑战，我们提出了流形约束的超连接（mHC），这是一个通用框架，它将 HC 的残差连接空间投影到一个特定的流形上以恢复恒等映射特性，同时结合了严格的基础设施优化以确保效率。实证实验表明，mHC 对于大规模训练是有效的，提供了切实的性能改进和优越的可扩展性。我们预期，mHC 作为 HC 的一个灵活且实用的扩展，将有助于更深入地理解拓扑架构设计，并为基础模型的演进指明有前景的方向。
引用
@article{arxiv.2512.24880,
title = {mHC: Manifold-Constrained Hyper-Connections},
author = {Zhenda Xie and Yixuan Wei and Huanqi Cao and Chenggang Zhao and Chengqi Deng and Jiashi Li and Damai Dai and Huazuo Gao and Jiang Chang and Kuai Yu and Liang Zhao and Shangyan Zhou and Zhean Xu and Zhengyan Zhang and Wangding Zeng and Shengding Hu and Yuqing Wang and Jingyang Yuan and Lean Wang and Wenfeng Liang},
journal= {arXiv preprint arXiv:2512.24880},
year = {2026}
}