Apriel-1.5-15B-Thinker
人工智能
2025-10-02 v1
摘要
我们提出 Apriel-1.5-15B-Thinker，这是一个 150 亿参数的开放权重多模态推理模型，通过训练设计而非规模扩张实现前沿水平性能。基于 Pixtral-12B，我们采用渐进式三阶段方法：(1) 深度扩展以扩大推理能力，无需从头预训练；(2) 分阶段持续预训练，首先发展基础文本和视觉理解能力，然后通过针对空间结构、组合理解和细粒度感知的合成数据增强视觉推理；(3) 在包含显式推理痕迹的数学、编程、科学和工具使用指令-响应对上进行高质量文本-only 监督微调。值得注意的是，我们的模型在不使用强化学习或偏好优化的情况下实现了竞争成绩，孤立地证明了我们数据中心持续预训练方法的贡献。在人工分析智能指数上，Apriel-1.5-15B-Thinker 获得 52 分，匹配 DeepSeek-R1-0528，所需计算资源显著更少。在十个图像基准测试中，其性能平均在 Gemini-2.5-Flash 和 Claude Sonnet-3.7 之间五分之一以内，这是单 GPU 部署约束下的重要成就。我们的工作表明，审慎的中期训练设计可以在不大规模扩张的情况下缩小显著的能力差距，使前沿级多模态推理对资源有限的组织变得可及。我们在 MIT 许可下发布模型检查点、所有训练配方以及评估协议，以推动开源研究。
引用
@article{arxiv.2510.01141,
title = {Apriel-1.5-15b-Thinker},
author = {Shruthan Radhakrishna and Aman Tiwari and Aanjaneya Shukla and Masoud Hashemi and Rishabh Maheshwary and Shiva Krishna Reddy Malay and Jash Mehta and Pulkit Pattnaik and Saloni Mittal and Khalil Slimi and Kelechi Ogueji and Akintunde Oladipo and Soham Parikh and Oluwanifemi Bamgbose and Toby Liang and Ahmed Masry and Khyati Mahajan and Sai Rajeswar Mudumba and Vikas Yadav and Sathwik Tejaswi Madhusudhan and Torsten Scholak and Sagar Davasam and Srinivas Sunkara and Nicholas Chapados},
journal= {arXiv preprint arXiv:2510.01141},
year = {2025}
}