Megrez2 技术报告
计算与语言
2025-07-24 v1
摘要
我们介绍了Megrez2，这是一个轻量级且高性能的语言模型架构，针对设备本机部署进行了优化。Megrez2引入了一种新的跨层专家共享机制，通过在相邻变换层之间重用专家模块显著减少总参数数量，同时保持大部分模型容量。它还包含预门控路由，实现内存高效的专家加载和更快的推理。作为Megrez2架构的第一个实例，我们介绍了Megrez2-Preview模型，该模型在5万亿标记的语料库上进行预训练，并通过可验证奖励的监督微调和强化学习进行进一步提升。仅凭3B激活参数和7.5B存储参数，Megrez2-Preview在广泛的任务中（包括语言理解、指令遵循、数学推理和代码生成）显示出与更大模型相当或更好的性能。这些结果突显了Megrez2架构在准确性、效率和可部署性之间取得平衡的有效性，使其成为实际资源受限应用的强有力候选人。
引用
@article{arxiv.2507.17728,
title = {Megrez2 Technical Report},
author = {Boxun Li and Yadong Li and Zhiyuan Li and Congyi Liu and Weilin Liu and Guowei Niu and Zheyue Tan and Haiyang Xu and Zhuyu Yao and Tao Yuan and Dong Zhou and Yueqing Zhuang and Bo Zhao and Guohao Dai and Yu Wang},
journal= {arXiv preprint arXiv:2507.17728},
year = {2025}
}