Ruyi2 技术报告
计算与语言
2026-02-27 v1 人工智能
摘要
大型语言模型 (LLM) 在部署成本和延迟方面面临重大挑战, necessitating 自适应计算策略。基于 AI Flow 框架, 我们引入 Ruyi2 作为自适应模型系列的演进版本, 旨在实现高效的可变深度计算。虽然早退出架构提供了一种可行的效率与性能平衡方案, 但 Ruyi 模型和现有方法常常在优化复杂度和与大规模分布式训练的兼容性方面存在困难。为弥合这一差距, Ruyi2 引入了基于 Megatron-LM 的稳定“家族模型”。通过采用 3D 并行训练, 它在 Ruyi 之上实现了 2-3 倍的加速, 且性能与相同规模的 Qwen3 模型持平。这些结果确认, 基于家族的参数共享是一种高度有效的策略, 建立了新的“一次训练, 多次部署”范式, 为在架构效率与高性能能力之间取得平衡提供了关键参考。
引用
@article{arxiv.2602.22543,
title = {Ruyi2 Technical Report},
author = {Huan Song and Shuyu Tian and Junyi Hao and Minxiu Xu and Hongjun An and Yiliang Song and Jiawei Shao and Xuelong Li},
journal= {arXiv preprint arXiv:2602.22543},
year = {2026}
}