Apriel-1.5-OpenReasoner：基于 RL 的通用高效推理后训练
机器学习
2026-04-07 v2
摘要
使用可验证奖励 (RLVR) across diverse domains 构建通用推理模型的强化学习方法已被前沿开源权重模型广泛采用，但其训练配方和 domain 混合物往往未被披露。跨 domain 的联合优化 presents 显著挑战：domains 在 rollout 长度、问题难度和样本效率方差异巨大。此外，具有长链式思维痕迹的模型会增加推理成本和延迟，使得效率对实际部署至关重要。我们提出了 Apriel-1.5-OpenReasoner，该模型在 Apriel-Base 上进行多 domain RL post-training，使用公开数据集训练：数学、代码生成、指令遵循、逻辑谜题和函数调用。我们引入了自适应 domain sampling 机制，以保持目标 domain 比例 despite 异构的 rollout 动力学，并引入了 difficulty-aware 长度惩罚扩展，该扩展在无额外训练开销的情况下，为困难问题鼓励更长的推理，为简单问题生成更短的痕迹。以严格的 16K token 输出预算训练的 Apriel-1.5-OpenReasoner 在推理时可推广到 32K tokens，并在 AIME 2025、GPQA、MMLU-Pro 和 LiveCodeBench 上优于 Apriel-Base，同时产生 30-50% 更短的推理痕迹。它在较低 token 成本下匹配了规模相似的强大开源权重模型，推动了准确率与 token 预算的 Pareto 前沿。
关键词
引用
@article{arxiv.2604.02007,
title = {Apriel-1.5-OpenReasoner: RL Post-Training for General-Purpose and Efficient Reasoning},
author = {Rafael Pardinas and Ehsan Kamalloo and David Vazquez and Alexandre Drouin},
journal= {arXiv preprint arXiv:2604.02007},
year = {2026}
}
备注
20 pages, 4 tables, 6 figures, appendix included