Aryabhata：一个面向 JEE 数学考试的聚焦型语言模型
人工智能
2025-08-14 v2
摘要
我们提出了 Aryabhata 1.0，一个紧凑的 7B 参数数学推理模型，专为印度学术考试——联合入学考试（JEE）优化。尽管大语言模型（LLMs）进展迅速，但现有模型通常仍不适合教育用途。Aryabhata 1.0 通过合并强大的开放权重推理模型构建，随后使用课程学习进行监督微调（SFT），微调数据为通过最佳- 拒绝采样精心筛选的验证链式思维（CoT）轨迹。为了进一步提升性能，我们应用了基于可验证奖励的强化学习（RLVR），采用带有组相对优势估计的 A2C 目标，并结合了自适应组大小调整和温度缩放等新颖探索策略。在分布内（JEE Main 2025）和分布外（MATH, GSM8K）基准上的评估表明，Aryabhata 在准确性和效率上均优于现有模型，同时提供了具有教学价值的逐步推理。我们发布 Aryabhata 作为基础模型，以推动面向考试的开源小语言模型的发展。这是我们首次为社区反馈而公开发布（https://huggingface.co/PhysicsWallahAI/Aryabhata-1.0）；PW 正在积极训练未来的模型，以进一步改善学生的学习成果。
引用
@article{arxiv.2508.08665,
title = {Aryabhata: An exam-focused language model for JEE Math},
author = {Ritvik Rastogi and Sachin Dharashivkar and Sandeep Varma},
journal= {arXiv preprint arXiv:2508.08665},
year = {2025}
}