开放科研参考基准（open-sci-ref-0.01）：用于语言模型和数据集比较的开放且可复现的参考基线
机器学习
2026-01-01 v3 人工智能
计算与语言
摘要
我们介绍 open-sci-ref，这是一系列作为研究基线训练的密集变换模型，跨多个模型规模（0.13B至1.7B参数）和token规模（最高达1T），在8个最新开放参考数据集上进行训练。通过在各种标准化基准上评估模型，我们的训练运行建立了参考点，使研究者能够在不同规模和数据集之间评估替代训练方法的合理性和质量。中间检查点允许比较和研究训练动力学。建立的参考基线允许通过其缩放趋势来比较训练程序，将其在统一计算轴上对齐。比较开放参考数据集显示，在NemoTron-CC HQ上进行训练的效果始终优于其他参考数据集，其后为DCLM-baseline和FineWeb-Edu。除了中间训练检查点，发布内容还包括日志、代码和下游评估，以简化复现、标准化比较并促进未来研究。
引用
@article{arxiv.2509.09009,
title = {Open-sci-ref-0.01: open and reproducible reference baselines for language model and dataset comparison},
author = {Marianna Nezhurina and Jörg Franke and Taishi Nakamura and Timur Carstensen and Niccolò Ajroldi and Ville Komulainen and David Salinas and Jenia Jitsev},
journal= {arXiv preprint arXiv:2509.09009},
year = {2026}
}
备注
v.1.1. AAAI Workshop on Reproducible Artificial Intelligence (RAI, https://reproducibleai.github.io) 2026, camera ready version. Model weights and intermediate training checkpoints are available at https://huggingface.co/collections/open-sci/open-sci-ref-001; code for reproducing training, evaluation and raw experiments data at https://github.com/LAION-AI/open-sci-ref-0.01