Gemstones：多层次比例律模型套件
机器学习
2025-10-08 v3 人工智能
摘要
比例律通常使用具有窄范围固定超参数选择的模型系列进行拟合。本 work 我们使用多种架构形状和超参数选择来研究比例律，突出其对结果方案的影响。作为本研究的主要产出，我们发布了 Gemstones：一个开源比例律数据集，包含来自最多20亿参数的变换器及其多样化架构形状的4000多个检查点；包括对学习率和冷却的消融实验。我们的检查点支持更复杂的比例研究，例如分析宽度与深度之间的关系。通过审视我们的模型套件，我们发现比例律的方案对实验设计过程以及用于拟合的特定模型检查点具有高度敏感性。
引用
@article{arxiv.2502.06857,
title = {Gemstones: A Model Suite for Multi-Faceted Scaling Laws},
author = {Sean McLeish and John Kirchenbauer and David Yu Miller and Siddharth Singh and Abhinav Bhatele and Micah Goldblum and Ashwinee Panda and Tom Goldstein},
journal= {arXiv preprint arXiv:2502.06857},
year = {2025}
}
备注
NeurIPS 2025